MapReduce工作原理简介（以wordcount 为例）

Map-Reduce框架的运作完全基于key,value对，即数据的输入是一批key,value对，生成的结果也是一批key,value对，只是有时候它们的类型不一样而已。Key和value的类由于需要支持被序列化（serialize）操作，所以它们必须要实现Writable接口，而且key的类还必须实...

BloomFilter 简介及在 Hadoop reduce side join 中的应用

1、BloomFilter能解决什么问题? 以少量的内存空间判断一个元素是否属于这个集合, 代价是有一定的错误率 2、工作原理 1. 初始化一个数组, 所有位标为0, A={x1, x2, x3,,xm} (x1, x2, x3,,xm 初始为0) 2. 将已知集合S中的每一个数组, 按以下方式映射到A中 2.0...

Hadoop 多表 join：map side join 范例

在没有 pig 或者 hive 的环境下，直接在 mapreduce 中自己实现 join 是一件极其蛋疼的事情，MR中的join分为好几种，比如有最常见的 reduce side join，map side join，semi join 等。今天我们要讨论的是第 2 种：map side join，这种 join 在处理多个小表关...

十分钟掌握 MapReduce 的精髓

微软著名的C++大师Herb Sutter在2005年初的时候曾经写过一篇重量级的文章：The Free Lunch Is Over: A Fundamental Turn Toward Concurrency in Software，预言OO之后软件开发将要面临的又一次重大变革-并行计算。 摩尔定律统制下的软件开发时代有一个非常有...

hadoop 作业调优参数整理及原理

1 Map side tuning参数 1.1 MapTask运行内部原理 当map task开始运算，并产生中间数据时，其产生的中间结果并非直接就简单的写入磁盘。这中间的过程比较复杂，并且利用到了内存buffer来进行已经产生的部分结果的缓存，并在内存buffer中进行一些预排序来优化...

Hadoop 稳定性与性能提升浅析

在 2012 Hadoop与大数据技术大会 上，阿里系的无影带来了题为阿里Hadoop集群架构及服务体系的演讲，他主要介绍了阿里集群的发展现状、服务模式和挑战、Hadoop版本特性等方面的内容。本文主要尝试解析该PPT（ http://hbtc2012.hadooper.cn/subject/track1lian...

浅析 Hadoop 中的数据倾斜

最近几次被问到关于数据倾斜的问题，这里找了些资料也结合一些自己的理解. 在并行计算中我们总希望分配的每一个task 都能以差不多的粒度来切分并且完成时间相差不大，但是集群中可能硬件不同，应用的类型不同和切分的数据大小不一致总会导致有部分任务极大的...

Hadoop资源感知调度器简介

先来几个名词解释： hadoop：apache基金会的开源分布式计算平台。 MapReduce ：hadoop的分布式计算模型，由map任务和reduce任务组成。 Jobtracker ：hadoop计算系统的总控。 Tasktracker ：hadoop计算系统的子节点。 Slot(槽位) ：tasktracker的最小计算分配...

Hadoop MapReduce 二次排序原理及其应用

关于二次排序主要涉及到这么几个东西： 在0.20.0以前使用的是 setPartitionerClass setOutputkeyComparatorClass setOutputValueGroupingComparator 在0.20.0以后使用是 job.setPartitionerClass(Partitioner p); job.setSortComparatorClass(RawComparator...

关于 hadoop reduce 阶段遍历 Iterable 的 2 个“坑”

之前有童鞋问到了这样一个问题：为什么我在 reduce 阶段遍历了一次Iterable 之后，再次遍历的时候，数据都没了呢？可能有童鞋想当然的回答：Iterable 只能单向遍历一次，就这样简单的原因。。。事实果真如此吗？ 还是用代码说话： package com.test;import j...