Hadoop 1.1.2分布式安装过程 (vmware10+centeros5.4 64位+hadoop1.1.2+ securecrt)
时间:2015-01-20 00:02 来源:linux.it.net.cn 作者:IT
Hadoop 1.1.2分布式安装过程 (vmware10+centeros5.464位+hadoop1.1.2+ securecrt)
安装环境
虚拟机:vmware10
操作系统:centeros5.4 64位
Hadoop版本:hadoop1.1.2
Securecrt7.0.0
jdk-7u51-linux-x64.gz
1 虚拟机环境配置
1.1在win7系统安装虚拟机vmware10,并在此虚拟机上安装centeros5.4(64位)。
1.2利用刚才的虚拟机再克隆两个虚拟机,名字分别为namenode、back1、back2,,如下图所示。
1.3修改hosts文件配置
1.3.1修改namenode的/home/hosts文件如下:
1.3.2修改back1、back2的/home/hosts如下
1.4利用securecrt 连接namenode,如下图所示
1.5新建一个用户xu,并设置密码
1.6在back1和back2上面进行同样的操作,都建立xu用户
1.7设置namenode与 back1、back2机器之间ssh无密钥访问
1.7.1 在namenode节点生成密钥对,并将公钥复制到back1和back2节点上
1.7.2 在back1和back2节点同样生成密钥对,复制到namenode节点上
1.7.3 在namenode节点执行如下命令
1.7.4 在back1 和 back2 节点分别执行如下命令
1.7.5 确保相互之间可以无密码ssh连接
1.8 关闭三个节点namenode、back1和back2的防火墙
2 安装java虚拟机
2.1分别在三个节点安装java虚拟机, 我安装的是jdk-7u51-linux-x64.gz
2.2设置三台机器的java环境变量
3 配置hadoop的配置文件:
3.1 修改hadoop-env.sh文件
3.2 修改core-site.xml文件
3.3 修改hdfs-site.xml文件
3.4 修改mapred-site.xml
3.5修改masters和slaves文件
3.6 并将配置好的hadoop-1.1.2拷贝到back1和back2安装节点。
3.7格式化文件系统:
3.8启动守护进程:
4 检查安装结果
4.1检查守护进程启动情况
4.2检查back1节点启动的进程
4.3检查back2的启动进程
4.4通过界面访问测试是否成功:
5 运行hadoop程序验证结果
例子来源:cookbook P54
(责任编辑:IT)
Hadoop 1.1.2分布式安装过程 (vmware10+centeros5.464位+hadoop1.1.2+ securecrt)
安装环境 虚拟机:vmware10 操作系统:centeros5.4 64位 Hadoop版本:hadoop1.1.2 Securecrt7.0.0 jdk-7u51-linux-x64.gz
1 虚拟机环境配置
1.1在win7系统安装虚拟机vmware10,并在此虚拟机上安装centeros5.4(64位)。
1.2利用刚才的虚拟机再克隆两个虚拟机,名字分别为namenode、back1、back2,,如下图所示。
1.3修改hosts文件配置
1.3.1修改namenode的/home/hosts文件如下:
1.3.2修改back1、back2的/home/hosts如下
1.4利用securecrt 连接namenode,如下图所示
1.5新建一个用户xu,并设置密码
1.6在back1和back2上面进行同样的操作,都建立xu用户
1.7设置namenode与 back1、back2机器之间ssh无密钥访问
1.7.1 在namenode节点生成密钥对,并将公钥复制到back1和back2节点上
1.7.2 在back1和back2节点同样生成密钥对,复制到namenode节点上
1.7.3 在namenode节点执行如下命令
1.7.4 在back1 和 back2 节点分别执行如下命令
1.7.5 确保相互之间可以无密码ssh连接
1.8 关闭三个节点namenode、back1和back2的防火墙
2 安装java虚拟机2.1分别在三个节点安装java虚拟机, 我安装的是jdk-7u51-linux-x64.gz
2.2设置三台机器的java环境变量
3 配置hadoop的配置文件:3.1 修改hadoop-env.sh文件
3.2 修改core-site.xml文件
3.3 修改hdfs-site.xml文件
3.4 修改mapred-site.xml
3.5修改masters和slaves文件
3.6 并将配置好的hadoop-1.1.2拷贝到back1和back2安装节点。
3.7格式化文件系统:
3.8启动守护进程:
4 检查安装结果
4.1检查守护进程启动情况
4.2检查back1节点启动的进程
4.3检查back2的启动进程
4.4通过界面访问测试是否成功:
5 运行hadoop程序验证结果例子来源:cookbook P54
(责任编辑:IT) |