hadoop单机模式和伪分布式模式安装过程
时间:2015-01-19 02:22 来源:csdn.net 作者:csdn.net
login as root
#cd ~
#wget http://apache.freelamp.com/hadoop/core/stable/hadoop-0.20.2.tar.gz
#mkdir /opt/hadoop
#cd /opt/hadoop
#mv /root/hadoop-0.20.2.tar.gz .
#tar xzvf hadoop-0.20.2.tar.gz
#cd hadoop-0.20.2
#vi conf/hadoop-env.sh
加入 export JAVA_HOME=/usr/java/jdk1.6.0_14
1、单机模式的操作方法
# mkdir input
# cp conf/*.xml input
# bin/hadoop jar hadoop-*-examples.jar grep input output 'dfs[a-z.]+'
# cat output/*
2、伪分布式模式的操作方法
1)conf/Core-site.xml代码
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
2)conf/hdfs-site.xml代码
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
3)conf/mapred-site.xml代码
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>
4)确认能否不输入口令就用ssh登录localhost:
#ssh localhost
如果不输入口令就无法用ssh登陆localhost,执行下面的命令:
#ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
#cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
5)格式化一个新的分布式文件系统:
#bin/hadoop namenode -format
6)启动Hadoop守护进程:
#bin/start-all.sh
7)将输入文件拷贝到分布式文件系统:
#bin/hadoop fs -put conf input
8)运行发行版提供的示例程序:
#bin/hadoop jar hadoop-*-examples.jar grep input output 'dfs[a-z.]+'
9)查看输出文件:
将输出文件从分布式文件系统拷贝到本地文件系统查看:
#bin/hadoop fs -get output output
#cat output/*
或者
在分布式文件系统上查看输出文件:
#bin/hadoop fs -cat output/*
10)完成全部操作后,停止守护进程:
#bin/stop-all.sh
参考文档 > http://hadoop.apache.org/common/docs/r0.18.2/cn/quickstart.html#Local
本文来自CSDN博客,转载请标明出处:http://blog.csdn.net/teamlet/archive/2010/08/06/5793383.aspx
(责任编辑:IT)
login as root
#cd ~
#vi conf/hadoop-env.sh
2)conf/hdfs-site.xml代码
5)格式化一个新的分布式文件系统:
9)查看输出文件: 参考文档 > http://hadoop.apache.org/common/docs/r0.18.2/cn/quickstart.html#Local
|