MapReduce工作原理简介（以wordcount 为例）
时间:2016-11-27 02:21 来源:linux.it.net.cn 作者:IT
Map-Reduce框架的运作完全基于<key,value>对，即数据的输入是一批<key,value>对，生成的结果也是一批<key,value>对，只是有时候它们的类型不一样而已。Key和value的类由于需要支持被序列化（serialize）操作，所以它们必须要实现Writable接口，而且key的类还必须实现WritableComparable接口，使得可以让框架对数据集的执行排序操作。
一个Map-Reduce任务的执行过程以及数据输入输出的类型如下所示：
(input)<k1,v1> -> map -> <k2,v2> -> combine -> <k2,v2> -> reduce -> <k3,v3>(output)
下面通过一个的例子并结合源代码来详细说明这个过程
3.1 WordCount示例
这也是Hadoop自带的一个例子，目标是统计文本文件中单词的个数。
假设有如下的两个文本文件来运行WorkCount程序：
Hello World Bye World
Hello Hadoop GoodBye Hadoop
3.2 map数据输入
Hadoop针对文本文件缺省使用LineRecordReader类来实现读取，一行一个key/value对，key取偏移量，value为行内容。
如下是map1的输入数据：
Key1 Value1
0 Hello World Bye World
如下是map2的输入数据：
Key1 Value1
0 Hello Hadoop GoodBye Hadoop
3.3 map输出/combine输入
如下是map1的输出结果
Key2 Value2
Hello 1
World 1
Bye 1
World 1
如下是map2的输出结果
Key2 Value2
Hello 1
Hadoop 1
GoodBye 1
Hadoop 1
3.4 combine输出
Combiner类实现将相同key的值合并起来，它也是一个Reducer的实现。
如下是combine1的输出
Key2 Value2
Hello 1
World 2
Bye 1
如下是combine2的输出
Key2 Value2
Hello 1
Hadoop 2
GoodBye 1
3.5 reduce输出
Reducer类实现将相同key的值合并起来。
如下是reduce的输出
Key2 Value2
Hello 2
World 2
Bye 1
Hadoop 2
GoodBye 1
即实现了WordCount的处理。
————————————————————————————————
combiner 的作用：
一、作用
1、combiner最基本是实现本地key的聚合，对map输出的key进行排序，value进行迭代。如下所示：
map: (K1, V1) → list(K2, V2)
combine: (K2, list(V2)) → list(K2, V2)
reduce: (K2, list(V2)) → list(K3, V3)
2、combiner还具有类似本地的reduce功能.
例如hadoop自带的wordcount的例子和找出value的最大值的程序，combiner和reduce完全一致。如下所示：
map: (K1, V1) → list(K2, V2)
combine: (K2, list(V2)) → list(K3, V3) ， 减轻reduce的负担！ reduce: (K3, list(V3)) → list(K4, V4)
3、如果不用combiner，那么，所有的结果都是reduce完成，效率会相对低下。使用combiner，先完成的map会在本地聚合，提升速度。
举一个hadoop自带的wordcount例子说明。
value就是一个叠加的数字，所以map一结束就可以进行reduce的value叠加，而不必要等到所有的map结束再去进行reduce的value叠加。
二、总结
1、combiner使用的合适，可以在满足业务的情况下提升job的速度，如果不合适，则将导致输出的结果不正确，上面7楼说的很对，不是所有的场合都适合combiner。根据自己的业务来使用。
2、combiner视业务情况来用，减少MAP->REDUCE的数据传输，提高shuffle速度。就是在map中再做一次reduce操作。
(责任编辑：IT)
| Map-Reduce框架的运作完全基于<key,value>对，即数据的输入是一批<key,value>对，生成的结果也是一批<key,value>对，只是有时候它们的类型不一样而已。Key和value的类由于需要支持被序列化（serialize）操作，所以它们必须要实现Writable接口，而且key的类还必须实现WritableComparable接口，使得可以让框架对数据集的执行排序操作。 一个Map-Reduce任务的执行过程以及数据输入输出的类型如下所示： (input)<k1,v1> -> map -> <k2,v2> -> combine -> <k2,v2> -> reduce -> <k3,v3>(output) 下面通过一个的例子并结合源代码来详细说明这个过程 3.1 WordCount示例 这也是Hadoop自带的一个例子，目标是统计文本文件中单词的个数。 假设有如下的两个文本文件来运行WorkCount程序： Hello World Bye World Hello Hadoop GoodBye Hadoop 3.2 map数据输入 Hadoop针对文本文件缺省使用LineRecordReader类来实现读取，一行一个key/value对，key取偏移量，value为行内容。 如下是map1的输入数据： Key1 Value1 0 Hello World Bye World 如下是map2的输入数据： Key1 Value1 0 Hello Hadoop GoodBye Hadoop 3.3 map输出/combine输入 如下是map1的输出结果 Key2 Value2 Hello 1 World 1 Bye 1 World 1 如下是map2的输出结果 Key2 Value2 Hello 1 Hadoop 1 GoodBye 1 Hadoop 1 3.4 combine输出 Combiner类实现将相同key的值合并起来，它也是一个Reducer的实现。 如下是combine1的输出 Key2 Value2 Hello 1 World 2 Bye 1 如下是combine2的输出 Key2 Value2 Hello 1 Hadoop 2 GoodBye 1 3.5 reduce输出 Reducer类实现将相同key的值合并起来。 如下是reduce的输出 Key2 Value2 Hello 2 World 2 Bye 1 Hadoop 2 GoodBye 1 即实现了WordCount的处理。 ————————————————————————————————
combiner 的作用： 一、作用 1、combiner最基本是实现本地key的聚合，对map输出的key进行排序，value进行迭代。如下所示：map: (K1, V1) → list(K2, V2) combine: (K2, list(V2)) → list(K2, V2) reduce: (K2, list(V2)) → list(K3, V3) 2、combiner还具有类似本地的reduce功能. 例如hadoop自带的wordcount的例子和找出value的最大值的程序，combiner和reduce完全一致。如下所示： map: (K1, V1) → list(K2, V2) combine: (K2, list(V2)) → list(K3, V3) ， 减轻reduce的负担！ reduce: (K3, list(V3)) → list(K4, V4) 3、如果不用combiner，那么，所有的结果都是reduce完成，效率会相对低下。使用combiner，先完成的map会在本地聚合，提升速度。 举一个hadoop自带的wordcount例子说明。 value就是一个叠加的数字，所以map一结束就可以进行reduce的value叠加，而不必要等到所有的map结束再去进行reduce的value叠加。 二、总结 1、combiner使用的合适，可以在满足业务的情况下提升job的速度，如果不合适，则将导致输出的结果不正确，上面7楼说的很对，不是所有的场合都适合combiner。根据自己的业务来使用。
2、combiner视业务情况来用，减少MAP->REDUCE的数据传输，提高shuffle速度。就是在map中再做一次reduce操作。 |