> Linux集群 > Hadoop >

Hadoop 1.1.2分布式安装过程 (vmware10+centeros5.4 64位+hadoop1.1.2+ securecrt)

Hadoop 1.1.2分布式安装过程  (vmware10+centeros5.464位+hadoop1.1.2+ securecrt)

 

安装环境

虚拟机:vmware10

操作系统:centeros5.4 64位

Hadoop版本:hadoop1.1.2

Securecrt7.0.0

jdk-7u51-linux-x64.gz

 

 

1       虚拟机环境配置

 

1.1在win7系统安装虚拟机vmware10,并在此虚拟机上安装centeros5.4(64位)。

 

1.2利用刚才的虚拟机再克隆两个虚拟机,名字分别为namenode、back1、back2,,如下图所示。

 

1.3修改hosts文件配置

 

1.3.1修改namenode的/home/hosts文件如下:

 

1.3.2修改back1、back2的/home/hosts如下

 

 

 

 

1.4利用securecrt 连接namenode,如下图所示

 

 

1.5新建一个用户xu,并设置密码

 

 

1.6在back1和back2上面进行同样的操作,都建立xu用户

 

 

 

1.7设置namenode与 back1、back2机器之间ssh无密钥访问

 

1.7.1 在namenode节点生成密钥对,并将公钥复制到back1和back2节点上

 

1.7.2 在back1和back2节点同样生成密钥对,复制到namenode节点上

 

 

 

 

1.7.3 在namenode节点执行如下命令

 

1.7.4 在back1 和 back2 节点分别执行如下命令

 

 

 

 

1.7.5 确保相互之间可以无密码ssh连接

 

 

 

1.8 关闭三个节点namenode、back1和back2的防火墙

 

 

 

 

2       安装java虚拟机

2.1分别在三个节点安装java虚拟机, 我安装的是jdk-7u51-linux-x64.gz

 

 

 

2.2设置三台机器的java环境变量

 

 

 

3       配置hadoop的配置文件:

3.1 修改hadoop-env.sh文件

 

 

3.2 修改core-site.xml文件

 

3.3 修改hdfs-site.xml文件

 

 

3.4 修改mapred-site.xml

 

 

3.5修改masters和slaves文件

 

 

 

 

3.6 并将配置好的hadoop-1.1.2拷贝到back1和back2安装节点。

 

 

3.7格式化文件系统:

 

 

 

3.8启动守护进程:

 

4       检查安装结果

 

4.1检查守护进程启动情况

 

 

 

 

4.2检查back1节点启动的进程

 

 

4.3检查back2的启动进程

 

 

4.4通过界面访问测试是否成功:

 

 

 

5       运行hadoop程序验证结果

 例子来源:cookbook P54

 

 

(责任编辑:IT)