hadoop-处理小文件
时间:2015-05-11 02:47 来源:linux.it.net.cn 作者:IT
一个Hadoop程序的优化过程 – 根据文件实际大小实现CombineFileInputFormat
http://www.rigongyizu.com/hadoop-job-optimize-combinefileinputformat/
mapreduce job让一个文件只由一个map来处理
http://www.rigongyizu.com/mapreduce-job-one-map-process-one-file/
Hadoop : 一个目录下的数据只由一个map处理
http://www.rigongyizu.com/hadoop-one-map-process-one-directory/
(责任编辑:IT)
一个Hadoop程序的优化过程 – 根据文件实际大小实现CombineFileInputFormathttp://www.rigongyizu.com/hadoop-job-optimize-combinefileinputformat/ mapreduce job让一个文件只由一个map来处理http://www.rigongyizu.com/mapreduce-job-one-map-process-one-file/ Hadoop : 一个目录下的数据只由一个map处理http://www.rigongyizu.com/hadoop-one-map-process-one-directory/ (责任编辑:IT) |