hadoop本地(独立)模式-安装
时间:2015-10-08 10:48 来源:linux.it.net.cn 作者:IT
本地(独立)模式
Hadoop的默认配置即为本地模式，此时Hadoop使用本地文件系统而非分布式文件系统，而且其也不会启动任何Hadoop守护进程，Map和Reduce任务都作为同一进程的不同部分来执行。因此，本地模式下的Hadoop仅运行于本机。此种模式仅用于开发或调试MapReduce应用程序但却避免了复杂的后续操作。
伪分布式(Pseudo-distributed)模式
hadoop将所有进程运行于同一台主机上，但此时Hadoop将使用分布式文件系统，而且各jobs也是由JobTracker服务管理的独立进程。同时，由于伪分布式的Hadoop集群只有一个节点，因此HDFS的块复制将限制为单个副本，其secondary-master和slave也都将运行于本地主机。此种模式除了并非真正意义的分布式之外，其程序执行逻辑完全类似于完全分布式，因此，常用于开发人员测试程序执行。
完全分布式(Fully distributed)模式
hadoop守护进程运行在一个集群上。
本地(独立)模式安装过程：
1/首先在官网下载hadoop文件，hadoop-0.20.2.tar.gz
2/系统下要安装jdk
我的系统jdk安装在：JAVA_HOME=/usr/lib/jvm/java-6-oracle
3/解压hadoop-0.20.2.tar.gz文件：
1
tar -xvzf hadoop-0.20.2.tar.gz
4/编辑 conf/hadoop-env.sh文件，至少需要将JAVA_HOME设置为Java安装根路径。
5/尝试如下命令：
1
$ bin/hadoop
将会显示hadoop 脚本的使用文档。
下面运行hadoop自带例子：
将已解压的 conf 目录拷贝作为输入，查找并显示匹配给定正则表达式的条目。输出写入到指定的output目录。
1
2
3
4
$ mkdir input
$ cp conf/*.xml input
$ bin/hadoop jar hadoop-*-examples.jar grep input output 'dfs[a-z.]+'
$ cat output/*
(责任编辑：IT)
本地(独立)模式 Hadoop的默认配置即为本地模式，此时Hadoop使用本地文件系统而非分布式文件系统，而且其也不会启动任何Hadoop守护进程，Map和Reduce任务都作为同一进程的不同部分来执行。因此，本地模式下的Hadoop仅运行于本机。此种模式仅用于开发或调试MapReduce应用程序但却避免了复杂的后续操作。
伪分布式(Pseudo-distributed)模式 hadoop将所有进程运行于同一台主机上，但此时Hadoop将使用分布式文件系统，而且各jobs也是由JobTracker服务管理的独立进程。同时，由于伪分布式的Hadoop集群只有一个节点，因此HDFS的块复制将限制为单个副本，其secondary-master和slave也都将运行于本地主机。此种模式除了并非真正意义的分布式之外，其程序执行逻辑完全类似于完全分布式，因此，常用于开发人员测试程序执行。 完全分布式(Fully distributed)模式 hadoop守护进程运行在一个集群上。 本地(独立)模式安装过程：
1/首先在官网下载hadoop文件，hadoop-0.20.2.tar.gz
5/尝试如下命令：
将会显示hadoop 脚本的使用文档。 下面运行hadoop自带例子： 将已解压的 conf 目录拷贝作为输入，查找并显示匹配给定正则表达式的条目。输出写入到指定的output目录。
(责任编辑：IT) |