> Linux集群 > Hadoop >

hadoop单机模式和伪分布式模式安装过程

login as root

#cd ~
 #wget http://apache.freelamp.com/hadoop/core/stable/hadoop-0.20.2.tar.gz 
#mkdir /opt/hadoop
 #cd /opt/hadoop
 #mv /root/hadoop-0.20.2.tar.gz .
 #tar xzvf hadoop-0.20.2.tar.gz
 #cd hadoop-0.20.2

#vi conf/hadoop-env.sh
 加入 export JAVA_HOME=/usr/java/jdk1.6.0_14
 
1、单机模式的操作方法
 
# mkdir input
 # cp conf/*.xml input
 # bin/hadoop jar hadoop-*-examples.jar grep input output 'dfs[a-z.]+'
 # cat output/*
 
2、伪分布式模式的操作方法
 
1)conf/Core-site.xml代码
 
<configuration>  
   <property>   
        <name>fs.default.name</name>   
        <value>hdfs://localhost:9000</value>   
  </property>   
</configuration>  

2)conf/hdfs-site.xml代码
 
<configuration>
      <property>
             <name>dfs.replication</name>
         <value>1</value>
      </property> 
</configuration>
 
3)conf/mapred-site.xml代码
 
<configuration>
       <property>
            <name>mapred.job.tracker</name> 
       <value>localhost:9001</value>
       </property> 
</configuration>
 
4)确认能否不输入口令就用ssh登录localhost:
 #ssh localhost
 
如果不输入口令就无法用ssh登陆localhost,执行下面的命令:
 #ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
 #cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys 

5)格式化一个新的分布式文件系统:
 #bin/hadoop namenode -format
 
6)启动Hadoop守护进程:
 #bin/start-all.sh
 
7)将输入文件拷贝到分布式文件系统:
 #bin/hadoop fs -put conf input
 
8)运行发行版提供的示例程序:
 #bin/hadoop jar hadoop-*-examples.jar grep input output 'dfs[a-z.]+' 

9)查看输出文件:
 
将输出文件从分布式文件系统拷贝到本地文件系统查看:
 #bin/hadoop fs -get output output
 #cat output/*
 
或者
 
在分布式文件系统上查看输出文件:
 #bin/hadoop fs -cat output/*
 
10)完成全部操作后,停止守护进程:
 #bin/stop-all.sh
 

参考文档 > http://hadoop.apache.org/common/docs/r0.18.2/cn/quickstart.html#Local


本文来自CSDN博客,转载请标明出处:http://blog.csdn.net/teamlet/archive/2010/08/06/5793383.aspx

(责任编辑:IT)