|
第一步：配置机器ip和网络环境,关闭防火墙,启动ssh服务 ，修改 /etc/hosts 使用setup命令 Firewall configuration disabled System services ssh 退出setup 执行命令：/sbin/service sshd start 修改/etc/hosts : vi /etc/hosts 添加 192.168.128.135(虚拟机IP) master 第二步：安装jdk，设置环境变量 jdk版本：jdk-7u21-linux-i586.tar.gz 安装jdk: tar -zxvf jdk-7u21-linux-i586.tar.gz 设置环境变量：vi /etc/profile 添加：export JAVA_HOME=/home/ocdc/app/jdk (jdk安装路径) export HADOOP_HOME=/home/ocdc/app/hadoop-1.0.3 export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin 手动使环境变量生效： source /etc/profile 测试： jps 第三步：生成免密匙登陆 输入命令：ssh-keygen cd .ssh cat id_rsa.pub > authorized_keys chmod go-wx authorized_keys 第四步: 安装hadoop并设置环境变量 hadoop版本:hadoop-1.0.3.tar.gz 安装hadoop：tar -zxvf hadoop-1.0.3.tar.gz 1.HDFS NameNode,DataNode组建配置 ----->core-site.xml <configuration> <property> <name>fs.default.name</name> <value>hdfs://master:9000</value> <!--hadoop namenode 服务器地址和端口，以域名形式--> </property> <property> <name>fs.checkpoint.dir</name> <value>/home/hadoop/hdfs</value> <!--hadoop secondary 数据存储路径,可以配置成多个目录,用,号分隔。--> </property> </configuration> 2.HDFS NameNode,DataNode组建配置 -------->hdfs-site.xml <configuration> <property> <name>dfs.name.dir</name> <value>/home/hadoop/hdfs/name</value> <description> </description> </property> <property> <name>dfs.data.dir</name> <value>/home/hadoop/hdfs/data</value> <!-- HDFS数据文件 存储路径,可以配置多个不同的分区和磁盘中,使用,号分隔--> <description> </description> </property> <property> <name>dfs.http.address</name> <value>master:50070</value> <!---HDFS Web查看主机和端口--> </property> <property> <name>dfs.secondary.http.address</name> <value>master:50090</value> <!--辅控HDFS web查看主机和端口--> </property> </configuration> 3.MapReduce JobTracker TaskTracker 启动配置 -------->mapred-site.xml <configuration> <property> <name>mapred.job.tracker</name> <value>master:9001</value> <!--JobTracker rpc主机和端口--> </property> <property> <name>mapred.local.dir</name> <value>/home/hadoop/mapred</value> <!--MapReduce 产生的中间文件数据,按照磁盘可以配置--> <final>true</final> </property> <property> <name>mapred.system.dir</name> <value>/home/hadoop/mapred/mrsystem</value> <final>true</final> <!-- MapReduce的系统控制文件--> </property> </configuration> 第五步：hadoop单机系统启动执行和异常检查 格式化文件namenode /home/ocdc/app/hadoop/bin/hadoop namenode -format 启动hadoop服务 /home/ocdc/app/hadoop/bin/start-all.sh 停止，命令相同，将start换为stop 出现错误可查看日志 tail -f /home/ocdc/app/hadoop/logs/* 第六步:检查是否部署启动成功 #检查 namenode 和 datanode 是否正常 http://master:50070/ #检查 jobtracker 和 tasktracker 是否正常 http://master:50030/ #检查 hdfs 是否正常 hadoop fs -ls / hadoop fs -mkdir /data/ hadoop fs -put xxx.log /data/ #检查 mapreduce 是否正常 hadoop jar hadoop-examples-1.0.3.jar pi 100 100 |