当前位置: > Linux集群 > Hadoop >

hadoop本地(独立)模式-安装

时间:2015-10-08 10:48来源:linux.it.net.cn 作者:IT

本地(独立)模式

    Hadoop的默认配置即为本地模式,此时Hadoop使用本地文件系统而非分布式文件系统,而且其也不会启动任何Hadoop守护进程,Map和Reduce任务都作为同一进程的不同部分来执行。因此,本地模式下的Hadoop仅运行于本机。此种模式仅用于开发或调试MapReduce应用程序但却避免了复杂的后续操作。

 

伪分布式(Pseudo-distributed)模式

    hadoop将所有进程运行于同一台主机上,但此时Hadoop将使用分布式文件系统,而且各jobs也是由JobTracker服务管理的独立进程。同时,由于伪分布式的Hadoop集群只有一个节点,因此HDFS的块复制将限制为单个副本,其secondary-master和slave也都将运行于本地主机。此种模式除了并非真正意义的分布式之外,其程序执行逻辑完全类似于完全分布式,因此,常用于开发人员测试程序执行。

完全分布式(Fully distributed)模式

    hadoop守护进程运行在一个集群上。


本地(独立)模式安装过程:

1/首先在官网下载hadoop文件,hadoop-0.20.2.tar.gz 
2/系统下要安装jdk
我的系统jdk安装在:JAVA_HOME=/usr/lib/jvm/java-6-oracle
3/解压hadoop-0.20.2.tar.gz文件:

 
1
tar -xvzf hadoop-0.20.2.tar.gz
4/编辑 conf/hadoop-env.sh文件,至少需要将JAVA_HOME设置为Java安装根路径。

5/尝试如下命令:

 
1
$ bin/hadoop

将会显示hadoop 脚本的使用文档。

下面运行hadoop自带例子:

将已解压的 conf 目录拷贝作为输入,查找并显示匹配给定正则表达式的条目。输出写入到指定的output目录。 

 
1
2
3
4
$ mkdir input
$ cp conf/*.xml input
$ bin/hadoop jar hadoop-*-examples.jar grep input output 'dfs[a-z.]+'
$ cat output/*


(责任编辑:IT)
------分隔线----------------------------