hadoop常见配置含义_

> Linux集群 > Hadoop >

hadoop常见配置含义

时间:2016-05-26 13:23 来源:linux.it.net.cn 作者:IT

参数取值备注

fs.default.name	NameNode 的URI。	hdfs://主机名/
dfs.hosts/dfs.hosts.exclude	许可/拒绝DataNode列表。	如有必要，用这个文件控制许可的datanode列表。
dfs.replication	默认： 3	数据复制的分数
dfs.name.dir	举例：/home/username/hadoop/namenode 默认：/tmp	当这个值是一个逗号分割的目录列表时，nametable数据将会被复制到所有目录中做冗余备份。
dfs.data.dir	举例：/home/username/hadoop/datanode 默认： /tmp	当这个值是逗号分割的目录列表时，数据将被存储在所有目录下，通常分布在不同设备上。

mapred.system.dir	Map/Reduce框架存储系统文件的HDFS路径。比如/hadoop/mapred/system/ 。	这个路径是默认文件系统（HDFS）下的路径，须从服务器和客户端上均可访问。
mapred.local.dir	本地文件系统下逗号分割的路径列表，Map/Reduce临时数据存放的地方。	多路径有助于利用磁盘i/o。
mapred.tasktracker.{map\|reduce}.tasks.maximum	某一TaskTracker 上可运行的最大Map/Reduce任务数，这些任务将同时各自运行。	默认为2（2个map和2个reduce），可依据硬件情况更改。
mapred.job.tracker	JobTracker 的主机（或者IP）和端口。	主机:端口。
mapred.hosts/mapred.hosts.exclude	许可/拒绝TaskTracker列表。	如有必要，用这个文件控制许可的TaskTracker列表。

hadoop.job.history.user.location	默认：mapred.output.dir/_logs/history 也可以设置为none 来停用	作业的历史文件记录目录

conf/slaves 写入全部的slave的机器名或者IP

nameNode记住每个文件被映射成的 blockId。每个blockId对应的block会被复制到不同的机器上多余一份。

hadoop 默认的block 是 64MB

在M/R优化的时候可以通过修改一些配置文件的值来提高性能

(责任编辑：IT)