hadoop安装及配置流程
时间:2016-05-26 13:21 来源:linux.it.net.cn 作者:IT
Hadoop环境配置以及安装过程：
1、Linux系统安装，以及网络的搭建
1.1 网络的选择为host-only模式
1.2 启动vmwave的虚拟网络配置器
1.3修改ip地址，将VMware网络配置器中的iP地址设置成192.168.80.1，在Linux中网络连接中将连接更改为manual（自定义），并设定ip地址192.168.80.X，只需要网关为192.168.80.1
1.4 验证ip地址设定是否成功，在本机cmd模式下，ping 192.168.80.X，并在Linux中终端ping 192.168.80.1,若能ping通，则网络设置成功。
2、主机名的更改，绑定iP与主机名
2.1 执行命令hostname demo1,将主机名修改为demo1
2.2 执行命令vi /etc/hosts ,并将192.168.80.9 demo1, 添加至文件中，保存并退出
2.3 执行命令 vi /etc/sysconfig/network ,将hostname 的值修改为demo1，保存退出
2.4 执行命令source /etc/sysconfig/network ，激活文件
3、安装jdk
3.1 拷贝文件，使用winscp将jdk文件、Hadoop文件拷贝至/usr/local 文件下
3.2 执行命令 ./jdk-6u24-linux-i585.bin得到文件jdk-----
3.3 执行命令mvjdk---- jdk 将文件名修改为jdk
3.4 配置环境变量 执行vi /etc/profile 打开文件profile，并添加
Export JAVA_HOME=/usr/local/jdk
Export PATH=.:$PATH:$JAVA_HOME/bin
3.4 保存关闭后，在shell命令下执行source /etc/profile 来激活配置文件
3.5 使用Java、javac、Java -version来验证是否安装成功
4、关闭防火墙
4.1 执行命令service iptables status 来查看防火墙的状态消息
4.2 执行命令 service iptables stop 来关闭防火墙
4.3 执行命令chkconfig iptables off 来关闭防火墙的自动运行
4.4 执行命令chkconfig --list | grep iptables 来查看是否关闭服务自动启动设置
5、设置SSH免密码登陆
5.1 执行命令 cd /root/.ssh 切换到文件.ssh文件下
5.2 执行命令ssh-keygen -t rsa 来创建公钥，ssh-keygen -t rsa”表示使用 rsa 加密方式生成密钥
5.3 执行命令cp id_rsa.pub authorized_keys 将文件复制至authorized_keys中
5.4 验证连接 ssh localhost ,并执行exit返回至.ssh文件下
6、安装Hadoop
6.1 执行命令 tar -zxvf hadoop-1.1.2.tar.gz 解压Hadoop压缩文件
6.2 执行命令mv hadoop-1.1.2 hadoop 将文件名修改为Hadoop
6.3 修改环境变量 ：执行命令 vi /etc/profile，添加
Export HADOOP_HOME=/usr/local/hadoop
修改 ＰＡＴＨ＝．：＄ＨＡＤＯＯＰ＿ＨＯＭＥ／ＢＩＮ：＄ＪＡＶＡ＿ＨＯＭＥ／ＢＩＮ：＄ＰＡＴＨ(在配置环境变量时PATH=.....必须放在最后，否则将无法识别在PATH后面的变量)
Hdfs文件系统下的命令：
Hadoop fs -ls:显示hdfs下的文件
Hadoop fs -lsr:递归查询hdfs系统下所有的文件
Hadoop fs -mkdir ./d1:在hdfs系统的home目录下创建一个文件夹d1
Hadoop fs -put <原路径> <目的路径>：把数据上传到目的路径
Hadoop fs -get <原路径> <目的路径> ：把数据从原路径下载到目的路径下
Hadoopfs -tetx <文件>：查看文件
Hadoop fs -rm:删除文件
Hadoop fs -rmr :删除目录
(责任编辑：IT)
| Hadoop环境配置以及安装过程： 1、Linux系统安装，以及网络的搭建 1.1 网络的选择为host-only模式 1.2 启动vmwave的虚拟网络配置器 1.3修改ip地址，将VMware网络配置器中的iP地址设置成192.168.80.1，在Linux中网络连接中将连接更改为manual（自定义），并设定ip地址192.168.80.X，只需要网关为192.168.80.1 1.4 验证ip地址设定是否成功，在本机cmd模式下，ping 192.168.80.X，并在Linux中终端ping 192.168.80.1,若能ping通，则网络设置成功。 2、主机名的更改，绑定iP与主机名 2.1 执行命令hostname demo1,将主机名修改为demo1 2.2 执行命令vi /etc/hosts ,并将192.168.80.9 demo1, 添加至文件中，保存并退出 2.3 执行命令 vi /etc/sysconfig/network ,将hostname 的值修改为demo1，保存退出 2.4 执行命令source /etc/sysconfig/network ，激活文件 3、安装jdk 3.1 拷贝文件，使用winscp将jdk文件、Hadoop文件拷贝至/usr/local 文件下 3.2 执行命令 ./jdk-6u24-linux-i585.bin得到文件jdk----- 3.3 执行命令mvjdk---- jdk 将文件名修改为jdk 3.4 配置环境变量 执行vi /etc/profile 打开文件profile，并添加 Export JAVA_HOME=/usr/local/jdk Export PATH=.:$PATH:$JAVA_HOME/bin 3.4 保存关闭后，在shell命令下执行source /etc/profile 来激活配置文件 3.5 使用Java、javac、Java -version来验证是否安装成功 4、关闭防火墙 4.1 执行命令service iptables status 来查看防火墙的状态消息 4.2 执行命令 service iptables stop 来关闭防火墙 4.3 执行命令chkconfig iptables off 来关闭防火墙的自动运行 4.4 执行命令chkconfig --list | grep iptables 来查看是否关闭服务自动启动设置 5、设置SSH免密码登陆 5.1 执行命令 cd /root/.ssh 切换到文件.ssh文件下 5.2 执行命令ssh-keygen -t rsa 来创建公钥，ssh-keygen -t rsa”表示使用 rsa 加密方式生成密钥 5.3 执行命令cp id_rsa.pub authorized_keys 将文件复制至authorized_keys中 5.4 验证连接 ssh localhost ,并执行exit返回至.ssh文件下 6、安装Hadoop 6.1 执行命令 tar -zxvf hadoop-1.1.2.tar.gz 解压Hadoop压缩文件 6.2 执行命令mv hadoop-1.1.2 hadoop 将文件名修改为Hadoop 6.3 修改环境变量 ：执行命令 vi /etc/profile，添加 Export HADOOP_HOME=/usr/local/hadoop 修改 ＰＡＴＨ＝．：＄ＨＡＤＯＯＰ＿ＨＯＭＥ／ＢＩＮ：＄ＪＡＶＡ＿ＨＯＭＥ／ＢＩＮ：＄ＰＡＴＨ(在配置环境变量时PATH=.....必须放在最后，否则将无法识别在PATH后面的变量) Hdfs文件系统下的命令： Hadoop fs -ls:显示hdfs下的文件 Hadoop fs -lsr:递归查询hdfs系统下所有的文件 Hadoop fs -mkdir ./d1:在hdfs系统的home目录下创建一个文件夹d1 Hadoop fs -put <原路径> <目的路径>：把数据上传到目的路径 Hadoop fs -get <原路径> <目的路径> ：把数据从原路径下载到目的路径下 Hadoopfs -tetx <文件>：查看文件 Hadoop fs -rm:删除文件 Hadoop fs -rmr :删除目录 (责任编辑：IT) |