hadoop 单机版部署步骤
时间:2014-12-30 23:06 来源:linux.it.net.cn 作者:IT
第一步：配置机器ip和网络环境,关闭防火墙,启动ssh服务 ，修改 /etc/hosts
使用setup命令
Firewall configuration disabled
System services ssh 退出setup 执行命令：/sbin/service sshd start
修改/etc/hosts : vi /etc/hosts 添加 192.168.128.135(虚拟机IP) master
第二步：安装jdk，设置环境变量
jdk版本：jdk-7u21-linux-i586.tar.gz
安装jdk: tar -zxvf jdk-7u21-linux-i586.tar.gz
设置环境变量：vi /etc/profile
添加：export JAVA_HOME=/home/ocdc/app/jdk (jdk安装路径)
export HADOOP_HOME=/home/ocdc/app/hadoop-1.0.3
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin
手动使环境变量生效： source /etc/profile
测试： jps
第三步：生成免密匙登陆
输入命令：ssh-keygen
cd .ssh
cat id_rsa.pub > authorized_keys
chmod go-wx authorized_keys
第四步: 安装hadoop并设置环境变量
hadoop版本:hadoop-1.0.3.tar.gz
安装hadoop：tar -zxvf hadoop-1.0.3.tar.gz
1.HDFS NameNode,DataNode组建配置 ----->core-site.xml
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://master:9000</value>
<!--hadoop namenode 服务器地址和端口，以域名形式-->
</property>
<property>
<name>fs.checkpoint.dir</name>
<value>/home/hadoop/hdfs</value>
<!--hadoop secondary 数据存储路径,可以配置成多个目录,用,号分隔。-->
</property>
</configuration>
2.HDFS NameNode,DataNode组建配置 -------->hdfs-site.xml
<configuration>
<property>
<name>dfs.name.dir</name>
<value>/home/hadoop/hdfs/name</value>
<description> </description>
</property>
<property>
<name>dfs.data.dir</name>
<value>/home/hadoop/hdfs/data</value>
<!-- HDFS数据文件 存储路径,可以配置多个不同的分区和磁盘中,使用,号分隔-->
<description> </description>
</property>
<property>
<name>dfs.http.address</name>
<value>master:50070</value>
<!---HDFS Web查看主机和端口-->
</property>
<property>
<name>dfs.secondary.http.address</name>
<value>master:50090</value>
<!--辅控HDFS web查看主机和端口-->
</property>
</configuration>
3.MapReduce JobTracker TaskTracker 启动配置 -------->mapred-site.xml
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>master:9001</value>
<!--JobTracker rpc主机和端口-->
</property>
<property>
<name>mapred.local.dir</name>
<value>/home/hadoop/mapred</value>
<!--MapReduce 产生的中间文件数据,按照磁盘可以配置-->
<final>true</final>
</property>
<property>
<name>mapred.system.dir</name>
<value>/home/hadoop/mapred/mrsystem</value>
<final>true</final>
<!-- MapReduce的系统控制文件-->
</property>
</configuration>
第五步：hadoop单机系统启动执行和异常检查
格式化文件namenode
/home/ocdc/app/hadoop/bin/hadoop namenode -format
启动hadoop服务
/home/ocdc/app/hadoop/bin/start-all.sh
停止，命令相同，将start换为stop
出现错误可查看日志
tail -f /home/ocdc/app/hadoop/logs/*
第六步:检查是否部署启动成功
#检查 namenode 和 datanode 是否正常 http://master:50070/
#检查 jobtracker 和 tasktracker 是否正常 http://master:50030/
#检查 hdfs 是否正常
hadoop fs -ls /
hadoop fs -mkdir /data/
hadoop fs -put xxx.log /data/
#检查 mapreduce 是否正常
hadoop jar hadoop-examples-1.0.3.jar pi 100 100
(责任编辑：IT)
| 第一步：配置机器ip和网络环境,关闭防火墙,启动ssh服务 ，修改 /etc/hosts 使用setup命令 Firewall configuration disabled System services ssh 退出setup 执行命令：/sbin/service sshd start 修改/etc/hosts : vi /etc/hosts 添加 192.168.128.135(虚拟机IP) master 第二步：安装jdk，设置环境变量 jdk版本：jdk-7u21-linux-i586.tar.gz 安装jdk: tar -zxvf jdk-7u21-linux-i586.tar.gz 设置环境变量：vi /etc/profile 添加：export JAVA_HOME=/home/ocdc/app/jdk (jdk安装路径) export HADOOP_HOME=/home/ocdc/app/hadoop-1.0.3 export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin 手动使环境变量生效： source /etc/profile 测试： jps 第三步：生成免密匙登陆 输入命令：ssh-keygen cd .ssh cat id_rsa.pub > authorized_keys chmod go-wx authorized_keys 第四步: 安装hadoop并设置环境变量 hadoop版本:hadoop-1.0.3.tar.gz 安装hadoop：tar -zxvf hadoop-1.0.3.tar.gz 1.HDFS NameNode,DataNode组建配置 ----->core-site.xml <configuration> <property> <name>fs.default.name</name> <value>hdfs://master:9000</value> <!--hadoop namenode 服务器地址和端口，以域名形式--> </property> <property> <name>fs.checkpoint.dir</name> <value>/home/hadoop/hdfs</value> <!--hadoop secondary 数据存储路径,可以配置成多个目录,用,号分隔。--> </property> </configuration> 2.HDFS NameNode,DataNode组建配置 -------->hdfs-site.xml <configuration> <property> <name>dfs.name.dir</name> <value>/home/hadoop/hdfs/name</value> <description> </description> </property> <property> <name>dfs.data.dir</name> <value>/home/hadoop/hdfs/data</value> <!-- HDFS数据文件 存储路径,可以配置多个不同的分区和磁盘中,使用,号分隔--> <description> </description> </property> <property> <name>dfs.http.address</name> <value>master:50070</value> <!---HDFS Web查看主机和端口--> </property> <property> <name>dfs.secondary.http.address</name> <value>master:50090</value> <!--辅控HDFS web查看主机和端口--> </property> </configuration> 3.MapReduce JobTracker TaskTracker 启动配置 -------->mapred-site.xml <configuration> <property> <name>mapred.job.tracker</name> <value>master:9001</value> <!--JobTracker rpc主机和端口--> </property> <property> <name>mapred.local.dir</name> <value>/home/hadoop/mapred</value> <!--MapReduce 产生的中间文件数据,按照磁盘可以配置--> <final>true</final> </property> <property> <name>mapred.system.dir</name> <value>/home/hadoop/mapred/mrsystem</value> <final>true</final> <!-- MapReduce的系统控制文件--> </property> </configuration> 第五步：hadoop单机系统启动执行和异常检查 格式化文件namenode /home/ocdc/app/hadoop/bin/hadoop namenode -format 启动hadoop服务 /home/ocdc/app/hadoop/bin/start-all.sh 停止，命令相同，将start换为stop 出现错误可查看日志 tail -f /home/ocdc/app/hadoop/logs/* 第六步:检查是否部署启动成功 #检查 namenode 和 datanode 是否正常 http://master:50070/ #检查 jobtracker 和 tasktracker 是否正常 http://master:50030/ #检查 hdfs 是否正常 hadoop fs -ls / hadoop fs -mkdir /data/ hadoop fs -put xxx.log /data/ #检查 mapreduce 是否正常 hadoop jar hadoop-examples-1.0.3.jar pi 100 100 |