Hadoop分布式环境搭建总结(非生产:Rat Hat Linux 6.4 + Hadoop_
时间:2014-06-26 02:33 来源:linux.it.net.cn 作者:IT网
一.环境准备
1. VMware workstation 9
2. Red Hat linux 6.4版本 32bit
3. JDK版本 jdk-7u45-linux-i586
4. Hadoop jar包 1.2.1版本32位
5. 远程登录及ftp工具(自选)
备注:
hadoop安装包下载下载地址:hadoop.apache.org
目前最新版本已经更新到2.2.0 发布版本
二.部署安装步骤
整体分为:
(1) 系统安装
(2) JDK安装及创建SSH无密码访问通讯连接
(3) Hadoop解压安装配置
(4) 配置网络域名解析及关闭放火墙
2.1 安装系统。
安装好虚拟机后,安装linux系统,注意网络连接方式选择桥接,其他配置根据个人机器情况自行配置。完全分布式共需要准备3个虚拟机。
--------------------------------------分割线 --------------------------------------
Ubuntu 13.04上搭建Hadoop环境 http://www.linuxidc.com/Linux/2013-06/86106.htm
Ubuntu 12.10 +Hadoop 1.2.1版本集群配置 http://www.linuxidc.com/Linux/2013-09/90600.htm
Ubuntu上搭建Hadoop环境(单机模式+伪分布模式) http://www.linuxidc.com/Linux/2013-01/77681.htm
Ubuntu下Hadoop环境的配置 http://www.linuxidc.com/Linux/2012-11/74539.htm
单机版搭建Hadoop环境图文教程详解 http://www.linuxidc.com/Linux/2012-02/53927.htm
--------------------------------------分割线 --------------------------------------
我设置的实验虚拟机内存为512M 硬盘为10G:
节点
节点IP
节点类型
Node01
10.55.15.89
NameNode
Node02
10.55.15.65
DataNode
Node03
10.55.15.91
DataNade
2.2 JDK安装及创建SSH无密码访问通讯连接
1. 首先为每台机安装JDK
使用root用户,执行rpm -ivh jdk-7u45-linux-i586.rpm
用安装结束后,使用java –version 检查是否安装好
2. SSH创建无密码访问:
a. 使用命令ssh-keygen -t rsa分别为三台节点机创建密钥:
此处,以其中一个节点为图例
中间过程一路回车就可以,无需填写任何东西
然后,打开隐藏目录.shh 查看密钥是否生成
b. 将共有密钥拷贝一份,重命名为authorized_keys
c. 将另外两台节点机的共有秒内容也拷贝到authorized_keys的内容中
d. 将文件 authorized_keys 拷贝到另外两台节点机 .shh 目录下
e. 配置hosts域名解析
f. 测试三台节点机的无密码访问联通性及自访问联通性
2.3 Hadoop解压安装及修改配置文件
将tar包解压,tar –xzvf hadoop-1.2.1.tar.gz
1. 修改core-site.xml
a.配置Namenode主机及端口号
b.配置制定临时文件夹路径,tmp文件夹要自行创建。
添加内容:
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://node01:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/criss/hadoop/hadoop-1.2.1/tmp</value>
</property>
</configuration>
2. 修改hadoop-env.sh文件
修改JDK的路径
3. 修改hdfs-site.xml
节点机数量为2,value为2
添加如下内容:
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
4. 修改mapred-site.xml
配置job tracter监听端口监听端口
<property>
<name>mapred.job.tracker</name>
<value>node01:9001</value>
</property>
5. 修改master 和 slaves
修改master文件
添加namenode 主机名
修改slaves
添加datanode 主机名
6. 配置好的Hadoop文件夹整体拷贝到各个节点。
2.4闭防火墙
关闭每台机的防火墙:
/etc/init.d/iptables stop 关闭防火墙。
chkconfig iptables off 关闭开机启动。
三.测试启动Hadoop
执行命令可以在任意机器进行操作。
1. 初始化Namenode
Hadoop namenode –format
2. 初始化成功后启动
./start-all.sh 启动
验证Namenode主机进程是否启动成功:
验证Datanode节点机进程是否启动成功:
到此安装部署过程结束!
(责任编辑:IT)
一.环境准备 1. VMware workstation 9 2. Red Hat linux 6.4版本 32bit 3. JDK版本 jdk-7u45-linux-i586 4. Hadoop jar包 1.2.1版本32位 5. 远程登录及ftp工具(自选) 备注: hadoop安装包下载下载地址:hadoop.apache.org 目前最新版本已经更新到2.2.0 发布版本 二.部署安装步骤整体分为: (1) 系统安装 (2) JDK安装及创建SSH无密码访问通讯连接 (3) Hadoop解压安装配置 (4) 配置网络域名解析及关闭放火墙 2.1 安装系统。安装好虚拟机后,安装linux系统,注意网络连接方式选择桥接,其他配置根据个人机器情况自行配置。完全分布式共需要准备3个虚拟机。 --------------------------------------分割线 -------------------------------------- Ubuntu 13.04上搭建Hadoop环境 http://www.linuxidc.com/Linux/2013-06/86106.htm Ubuntu 12.10 +Hadoop 1.2.1版本集群配置 http://www.linuxidc.com/Linux/2013-09/90600.htm Ubuntu上搭建Hadoop环境(单机模式+伪分布模式) http://www.linuxidc.com/Linux/2013-01/77681.htm Ubuntu下Hadoop环境的配置 http://www.linuxidc.com/Linux/2012-11/74539.htm 单机版搭建Hadoop环境图文教程详解 http://www.linuxidc.com/Linux/2012-02/53927.htm --------------------------------------分割线 -------------------------------------- 我设置的实验虚拟机内存为512M 硬盘为10G:
2.2 JDK安装及创建SSH无密码访问通讯连接1. 首先为每台机安装JDK
使用root用户,执行rpm -ivh jdk-7u45-linux-i586.rpm
用安装结束后,使用java –version 检查是否安装好
2. SSH创建无密码访问: a. 使用命令ssh-keygen -t rsa分别为三台节点机创建密钥: 此处,以其中一个节点为图例
中间过程一路回车就可以,无需填写任何东西
然后,打开隐藏目录.shh 查看密钥是否生成
b. 将共有密钥拷贝一份,重命名为authorized_keys
c. 将另外两台节点机的共有秒内容也拷贝到authorized_keys的内容中
d. 将文件 authorized_keys 拷贝到另外两台节点机 .shh 目录下
e. 配置hosts域名解析
f. 测试三台节点机的无密码访问联通性及自访问联通性
2.3 Hadoop解压安装及修改配置文件 将tar包解压,tar –xzvf hadoop-1.2.1.tar.gz
1. 修改core-site.xml a.配置Namenode主机及端口号 b.配置制定临时文件夹路径,tmp文件夹要自行创建。
添加内容: <configuration> <property> <name>fs.default.name</name> <value>hdfs://node01:9000</value> </property>
<property> <name>hadoop.tmp.dir</name> <value>/home/criss/hadoop/hadoop-1.2.1/tmp</value> </property>
</configuration>
2. 修改hadoop-env.sh文件 修改JDK的路径
3. 修改hdfs-site.xml 节点机数量为2,value为2 添加如下内容: <property> <name>dfs.replication</name> <value>2</value> </property>
4. 修改mapred-site.xml 配置job tracter监听端口监听端口 <property> <name>mapred.job.tracker</name> <value>node01:9001</value> </property>
5. 修改master 和 slaves
修改master文件 添加namenode 主机名
修改slaves 添加datanode 主机名
6. 配置好的Hadoop文件夹整体拷贝到各个节点。
2.4闭防火墙关闭每台机的防火墙:
/etc/init.d/iptables stop 关闭防火墙。
三.测试启动Hadoop 执行命令可以在任意机器进行操作。
1. 初始化Namenode Hadoop namenode –format
2. 初始化成功后启动 ./start-all.sh 启动
验证Namenode主机进程是否启动成功:
验证Datanode节点机进程是否启动成功:
到此安装部署过程结束! (责任编辑:IT) |