当前位置: > Linux集群 >

Ubuntu 12.10 +Hadoop 1.2.1版本集群配置(2)

时间:2014-03-14 00:35来源:linux.it.net.cn 作者:IT网

4.3)首先设置namenode的ssh为无需密码自动登陆,

切换到hadoop用户( 保证用户hadoop可以无需密码登录,因为我们后面安装的hadoop属主是hadoop用户。)


  1. su hadoop 
  2. cd /home/hadoop 
  3. ssh-keygen -t rsa 

最后一个命令输入完成以后一直按回车,

完成后会在/home/hadoop/目录下产生完全隐藏的文件夹.ssh,

进入.ssh文件夹,然后将id_rsa.pub复制到authorized_keys文件,命令如下,


  1. cd .ssh # 进入.ssh目录 
  2. cp id_rsa.pub authorized_keys #生成authorized_keys文件 
  3.  
  4. ssh localhost  #测试无密码登陆,第一可能需要密码 
  5. ssh node1 #同上一个命令一样 

node1无密码登陆的效果:

4.4)配置node1无密码访问node2和node3

首先以node2为例,node3参照node2的方法

在node2中执行以下命令:


  1. su hadoop 
  2. cd /home/hadoop  
  3. ssh-keygen -t rsa #生成公钥和私钥,一路回车 

在node1中进入/home/hadoop/.ssh目录中,复制authorized_keys到node2的.ssh文件夹中

执行以下命令


  1. scp authorized_keys hadoop@node2:/home/hadoop/.ssh #复制authorized_keys到node2的.ssh目录中去 

修改已经传输到node2的authorized_keys的许可权限,需要root权限


  1. chmod 644 authorized_keys    
  2.  
  3. ssh node2 #测试无密码访问node2   

node3同上面的执行步骤

 

5、安装hadoop

将当前用户切换到hadoop用户,如果集群内机器的环境完全一样,可以在一台机器上配置好,然后把配置好的软件即hadoop-0.20.203整个文件夹拷贝到其他机器的相同位置即可。 可以将Master上的Hadoop通过scp拷贝到每一个Slave相同的目录下,同时根据每一个Slave的Java_HOME 的不同修改其hadoop-env.sh 。

5.1)配置conf/hadoop-env.sh文件

切换到hadoop-1.2.1/conf目录下,添加JAVA_HOME路径

5.2)配置/conf/core-site.xml


  1. <?xml version="1.0"?>   
  2. <?xml-stylesheet type="text/xsl"href="configuration.xsl"?>   
  3. <configuration>   
  4. <property>   
  5.  <name>fs.default.name</name>   
  6.   <value>hdfs://node1:49000</value> (责任编辑:IT)
------分隔线----------------------------
栏目列表
推荐内容