欢迎光临IT网Linux学习频道

当前位置: > Linux集群 >
  • [Hadoop] hadoop 作业调优参数整理及原理 日期:2016-11-27 02:17:41 点击:143 好评:0

    1 Map side tuning参数 1.1 MapTask运行内部原理 当map task开始运算,并产生中间数据时,其产生的中间结果并非直接就简单的写入磁盘。这中间的过程比较复杂,并且利用到了内存buffer来进行已经产生的部分结果的缓存,并在内存buffer中进行一些预排序来优化...

  • [Hadoop] Hadoop 稳定性与性能提升浅析 日期:2016-11-27 02:15:46 点击:186 好评:0

    在 2012 Hadoop与大数据技术大会 上,阿里系的无影带来了题为阿里Hadoop集群架构及服务体系的演讲,他主要介绍了阿里集群的发展现状、服务模式和挑战、Hadoop版本特性等方面的内容。本文主要尝试解析该PPT( http://hbtc2012.hadooper.cn/subject/track1lian...

  • [Hadoop] 浅析 Hadoop 中的数据倾斜 日期:2016-11-27 02:14:46 点击:131 好评:0

    最近几次被问到关于数据倾斜的问题,这里找了些资料也结合一些自己的理解. 在并行计算中我们总希望分配的每一个task 都能以差不多的粒度来切分并且完成时间相差不大,但是集群中可能硬件不同,应用的类型不同和切分的数据大小不一致总会导致有部分任务极大的...

  • [Hadoop] Hadoop资源感知调度器简介 日期:2016-11-27 02:14:05 点击:149 好评:0

    先来几个名词解释: hadoop:apache基金会的开源分布式计算平台。 MapReduce :hadoop的分布式计算模型,由map任务和reduce任务组成。 Jobtracker :hadoop计算系统的总控。 Tasktracker :hadoop计算系统的子节点。 Slot(槽位) :tasktracker的最小计算分配...

  • [Hadoop] Hadoop MapReduce 二次排序原理及其应用 日期:2016-11-27 02:12:16 点击:68 好评:0

    关于二次排序主要涉及到这么几个东西: 在0.20.0以前使用的是 setPartitionerClass setOutputkeyComparatorClass setOutputValueGroupingComparator 在0.20.0以后使用是 job.setPartitionerClass(Partitioner p); job.setSortComparatorClass(RawComparator...

  • [Hadoop] 关于 hadoop reduce 阶段遍历 Iterable 的 2 个“坑” 日期:2016-11-27 02:11:05 点击:108 好评:0

    之前有童鞋问到了这样一个问题:为什么我在 reduce 阶段遍历了一次Iterable 之后,再次遍历的时候,数据都没了呢?可能有童鞋想当然的回答:Iterable 只能单向遍历一次,就这样简单的原因。。。事实果真如此吗? 还是用代码说话: package com.test;import j...

  • [Hadoop] 从 secondarynamenode 中恢复 namenode 日期:2016-11-27 02:10:36 点击:99 好评:0

    1.修改conf/core-site.xml,增加 Xml代码 property namefs.checkpoint.period/name value3600/value descriptionThenumberofsecondsbetweentwoperiodiccheckpoints./description /property property namefs.checkpoint.size/name value67108864/value descrip...

  • [Hadoop] 使用hadoop进行大规模数据的全局排序 日期:2016-11-27 02:08:50 点击:120 好评:0

    1. Hellow hadoop~~! Hadoop(某人儿子的一只虚拟大象的名字)是一个复杂到极致,又简单到极致的东西。 说它复杂,是因为一个hadoop集群往往有几十台甚至成百上千台low cost的计算机组成,你运行的每一个任务都要在这些计算机上做任务的分发,执行中间数据排...

  • [Hadoop] MapReduce: 详解 Shuffle 过程 日期:2016-11-27 02:06:54 点击:121 好评:0

    Shuffle过程是MapReduce的核心,也被称为奇迹发生的地方。要想理解MapReduce, Shuffle是必须要了解的。我看过很多相关的资料,但每次看完都云里雾里的绕着,很难理清大致的逻辑,反而越搅越混。前段时间在做MapReduce job 性能调优的工作,需要深入代码研究...

  • [Hadoop] 深入理解Hadoop集群和网络 日期:2016-11-27 02:02:14 点击:105 好评:0

    摘要:本文将着重于讨论Hadoop集群的体系结构和方法,及它如何涉及到网络和服务器基础设施。开始我们先学习一下Hadoop集群运作的基...

  • 首页
  • 上一页
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 下一页
  • 末页
  • 80798
栏目列表
推荐内容