> Linux集群 > Hadoop >

hadoop各配置文件中各配置项详细说明

3.1. 环境变量 hadoop-env.sh

name

value

含义

JAVA_HOME

 

/usr/java/jdk1.6.0_30

JDK所在路径

 

 

3.2. HDFS配置

3.2.1. 配置 core-site.xml

Name

value

含义

fs.default.name

hdfs://namenode

指定默认的文件系统,默认端口 8020

 

io.file.buffer.size

65536

指定缓冲区的大小,默认4K太小,64k(65536)128k(131072)更为常用

 

3.2.2. 配置 hdfs-site.xml

Name

Value

含义

dfs.name.dir 

逗号分隔的目录列表

NameNode上持久化存储元数据和事务日志的路径。指定多个目录的话,各个目录内容完全一致。

dfs.data.dir 

逗号分隔的目录列表

DataNode上存储数据块的地方。如果指定多个目录,则数据库被随机的存放。

dfs.replication

整数

数据复制的份数

dfs.datanode.max.xcievers

4096

datanode同时打开的文件上限。默认256太小。

fs.checkpoint.dir

逗号分隔的目录列表

辅助NameNode检查点存储目录,分别存储到各个目录,支持冗余备份。

 

3.3. Map Reduce 配置

MapReduce的配置集中在mapred-size.xml如果只用到了HDFS,这一部分的配置可以忽略。

Name

Value

说明

mapred.job.tracker

namenode:8021

JobtrackerRPC服务器所在的主机名称和端口。

mapred.local.dir

逗号分隔的目录列表

存储作业中间数据的目录列表,作业结束后,数据被清楚

mapred.system.dir

HDFS上的目录

作业运行期间的存储共享目录的目录,必须是HDFS之上的目录

mapred.task.tracker.

map.tasks.maximum

整数

运行在tasktracker之上的最大map任务数

mapred.task.tracker.

reduce.tasks.maximum

整数

运行在tasktracker之上的最大reduce任务数

mapred.child.java.opts

Java虚拟机选项

JVM选项,默认 -Xmx200m


(责任编辑:IT)