> CentOS > CentOS服务器 > 环境配置 >

CentOS 搭建hadhoop单机模式

时间:2015-06-04 09:06  来源:linux.it.net.cn   作者:IT

1、下载hadhoop安装包http://hadoop.apache.org/releases.html，我下的是hadoop-2.7.0-src.tar.gz，解压。

[plain] view plaincopyprint?
 
  1. gzip -d hadoop-2.7.0-src.tar.gz  
  2. tar -xvf hadoop-2.7.0-src.tar  

此后的操作都需要在root下进行。    

[sql] view plaincopyprint?
 
  1. su root  

2、安装ssh

     先查看是否已经装了ssh

     rpm -qa | grep ssh
    

    如果没有安装，则用

     yum install ssh

    最好再开启一次ssh服务    

 

[plain] view plaincopyprint?
 
  1. service sshd restart  
  2. ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa  

     切换到根目录下查看有没有.ssh文件。     

[plain] view plaincopyprint?
 
  1. cd ~/  
  2. ls -a  

    进入.ssh目录

    cat id_dsa.pub > authorized_keys

    紧接着测试，确认能否不输入口令就用ssh登录localhost，也就是是说输入下面命令后不会出现输入密码的提示

[plain] view plaincopyprint?
 
  1. ssh localhost  
    

    至此ssh就配置完成了。

3、安装jdk，设置JAVA_HOM

除了配置/etc/profile外，还需在httpfs-env.sh中export JAVA_HOME

 

4、配置hadhoop

   进入hadoop-2.7.0/etc/hadoop

  a.配置core-site.xml如下：    

[html] view plaincopyprint?
 
  1. <?xml version="1.0" encoding="UTF-8"?>  
  2. <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>  
  3.   
  4. <!-- Put site-specific property overrides in this file. -->  
  5.   
  6. <configuration>  
  7.     <property>  
  8.   
  9.         <name>fs.default.name</name>  
  10.         <value>hdfs://localhost:9000</value>  
  11.   
  12.     </property>  
  13. </configuration>  

b.配置hdfs-site.xml 如下：

[html] view plaincopyprint?
 
  1. <?xml version="1.0" encoding="UTF-8"?>  
  2. <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>  
  3.   
  4. <!-- Put site-specific property overrides in this file. -->  
  5.   
  6. <configuration>  
  7.     
  8.   <property>  
  9.         <name>dfs.replication</name>  
  10.         <value>1</value>  
  11.     </property>  
  12.   
  13. </configuration>  
  14. ~  
c.配置mapred-site.xml

   目录下只有mapred-site.xml.template 而没有mapred-site.xml，所以复制一份。  

 

[plain] view plaincopyprint?
 
  1. cp mapred-site.xml.template  mapred-site.xml  
配置如下：

 

[html] view plaincopyprint?
 
  1. <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>  
  2.   
  3. <!-- Put site-specific property overrides in this file. -->  
  4.   
  5. <configuration>  
  6.   
  7.     <property>  
  8.         <name>mapred.job.tracker</name>  
  9.         <value>localhost:9001</value>  
  10.     </property>  
  11.   
  12. </configuration>  

至此，hadoop配置基本完成。

 

4、启动hadoop

          进入hadoop的sbin目录，执行hadoop namenode -format

         接着执行 start-all.sh

5、用jps查看相关信息

     
     注：新的hadoop架构中取消了JobTracker，参考http://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/YARN.html

 bin/hadoop namenode 

–

format



(责任编辑：IT)
    最近关注
    热点内容