当前位置: > Linux集群 > Hadoop >

hadoop-处理小文件

时间:2015-05-11 02:47来源:linux.it.net.cn 作者:IT

一个Hadoop程序的优化过程 – 根据文件实际大小实现CombineFileInputFormat

http://www.rigongyizu.com/hadoop-job-optimize-combinefileinputformat/

mapreduce job让一个文件只由一个map来处理

http://www.rigongyizu.com/mapreduce-job-one-map-process-one-file/

Hadoop : 一个目录下的数据只由一个map处理

http://www.rigongyizu.com/hadoop-one-map-process-one-directory/



(责任编辑:IT)
------分隔线----------------------------