Map的结果，会通过partition分发到Reducer上，Reducer做完Reduce操作后，通过OutputFormat，进行输出 Map的结果，会通过partition分发到Reducer上，Reducer做完Reduce操作后，通过OutputFormat，进行输出。 ? 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18...

我们开始来分析Hadoop MapReduce的内部的运行机制。用户向Hadoop提交Job（作业），作业在JobTracker对象的控制下执行。Job被分解成为Task（任务），分发到集群中，在TaskTracker的控制下运行。Task包括MapTask和ReduceTask，是MapReduce的Map操作和Reduce操...

namenode（hdfs）+jobtracker（mapreduce）可以放在一台机器上，datanode+tasktracker可以在一台机器上，辅助namenode要单独放一台机器，jobtracker通常情况下分区跟datanode一样(目录最好分布在不同的磁盘上，一个目录对应一个磁盘)，namenode存储目录需要...

情景描述: 因为以前namenode节点下面的hadoop/lib文件夹加入了一些别的jar包(为了测试一些东西),而datanode节点下面的hadoop/lib文件夹没有增加.导致hadoop启动错误.为了统一,我把namenode节点下面的hadoop/lib文件夹下面的所有文件都删除了,从datanode节点...

摘要org.apache.hadoop.ipc.RemoteException: org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot delete /benchmarks/TestDFSIO/io_control. Name node is in safe mode. 如何关闭安全模式呢？ 命令为: 1 bin/hadoop dfsadmin -safemode le...

序列化是将结构化对象为字节流以便与通过网络进行传输或者写入持久存储。反序列化指的是将字节流转为一系列结构化对象的过程。 序化在分布式数据处理的两列大领域经常出现：进程间通信和永久存储 hadoop中，节点直接的进程间通信是用远程过程调用（RPC）实现...

writeable接口对java基本类型提供了封装，short和char除外。所有的封装包含get()和set()两个方法用于读取和设置值。 Writable的Java基本类封装 Java基本类型 Writable使用序列化大小（字节） 布尔型 BooleanWritable 1 字节型 ByteWritable 1 整型 IntWritab...

编码器和解码器用以执行压缩解压算法。在Hadoop里，编码/解码器是通过一个压缩解码器接口实现的。 Hadoop可用的编码/解码器。 压缩格式 Hadoop压缩编码/解码器 DEFLATE org.apache.hadoop.io.compress.DefaultCodec gzip org.apache.hadoop.io.compress.Gzip...

文件系统的一致模型描述了对文件读写的数据可见性。HDFS为性能牺牲了一些POSIX请求，因此一些操作可能比想像的困难。 在创建一个文件之后，在文件系统的命名空间中是可见的，如下所示： pathp=newPath(p); Fs.create(p); assertThat(fs.exists(p),is(true));...

现象： 在访问 Master:50070 之后，点击 browse the filesystem 后，该页无法显示。 原因： 点击 browse the filesystem 后，网页转向的地址用的是 hadoop 集群的某一个 datanode 的主机名，由于客户端的浏览器无法解析这个主机名，因此该页无法显示。 解决...

我在测试hadoop时候，自己写了一个类，并且这个类中引用了2个类，运行的时候找不到引用的类。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 5...

文件读取剖析 为了了解客户端及与之交互的HDFS、名称节点和数据节点之间的数据流是怎样的，我们可参考图3-1，其中显示了在读取文件时一些事件的主要顺序。 （点击查看大图）图3-1：客户端从HDFS中读取数据 客户端通过调用FileSystem对象的open()来读取希望打...

文件元数据：Filestatus 任何文件系统的一个重要特征是定位其目录结构及检索其存储的文件和目录信息的能力。FileStatus类封装了文件系统中文件和目录的元数据，包括文件长度、块大...

Hadoop的package的介绍： Package Dependences tool 提供一些命令行工具，如 DistCp ， archive mapreduce Hadoop 的 Map/Reduce 实现 filecache 提供 HDFS 文件的本地缓存，用于加快 Map/Reduce 的数据访问速度 fs 文件系统的抽象，可以理解为支持多种文件...

FileSystem类有一系列创建文件的方法。最简单的是给拟创建的文件指定一个路径对象，然后返回一个用来写的输出流： 1 public FSDataOutputStream create(Path f) throws IOException 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 2...

使用hadoop运行自己写的java类报错： 1 2 3 4 5 6 7 8 9 10 /home/hadoop/bin/hadoop MaxTemperature /home/hadoop/input/sample.txt output Exception in thread main java.lang.NoClassDefFoundError: MaxTemperature Caused by: java.lang.ClassNotFoundE...

本地(独立)模式 Hadoop的默认配置即为本地模式，此时Hadoop使用本地文件系统而非分布式文件系统，而且其也不会启动任何Hadoop守护进程，Map和Reduce任务都作为同一进程的不同部分来执行。因此，本地模式下的Hadoop仅运行于本机。此种模式仅用于开发或调试Map...

Hadoop官方的中文文档 http://hadoop.apache.org/common/docs/r0.18.2/cn/index.html 深入理解Hadoop集群和网络 http://blog.jobbole.com/44384/ Hadoop 1.2.1 eclipse plugin 编译 win7 集成 http://blog.csdn.net/reaper1022/article/details/11009797 Had...

Hadoop有一个抽象的文件系统概念，HDFS只是其中的一个实现。Java抽象类 org.apache.hadoop.fs.FileSystem展示了Hadoop的一个文件系统，而且有几个具体实现，如表 文件系统 URI 方案 Java实 现(全部在 org.apache.hadoop) 描述 Local file fs.LocalFileSystem...

在hadoop和pig安装过程中，经常会出现hadoop和pig版本不兼容的问题，下面基于Hadoop2.3.0和pig0.12.0在安装过程中版本不兼容导致的问题进行说明。 在Hadoop2.3.0和pig0.12.0安装完后，运行过程中，hadoop和piggrunt均运行正常但是dump数据报下面的错误： ERRO...

本文总结了apache pig 的部署使用。 目录[-] 1 产品概述 1.1 产品功能 3 安装部署 4 Pig基本概念 5 Pig操作符介绍 5.1 AVG求平均 5.2 Count统计行数 5.3 FLATTEN扁平操作 5.4 GROUP分组操作 5.5 tuple加载 5.6 DISTINCT去重 5.7 STREAM操作 5.8 传入参数 5.9...

本文总结了apache hive 的部署使用。 目录[-] 1 产品概述 1.1 产品功能 1.2 Hive和传统数据库进行比较 1.3应用场景 2 产品架构 2.1 服务 2.2元数据 2.3NameNode与JobTracker 3 安装部署 4 数据存储模式 5 基本操作 5.1 Hive内置数据类型 5.2 Hive参数配置方法...

本文总结hadoop、hbase运维过程中的一些问题，仅供参考。 目录[-] 1pid不存在的问题 2hbase清除表数据的命令 1pid不存在的问题 hadoop停止集群时，报错如下所示： nonamenodetostop nodatanodetostop noseconderynamenodetostop noresourcemanagertostop nono...

本部署文档逐步介绍了用Ambari在线部署hdp的过程 目录[-] 1集群配置 1.1集群组成 1.2配置ssh无密码登录 1.1配置ntp服务 1.4关闭防火墙服务 1.5配置selinux和umask 2准备部署软件 2.1Jdk下载安装部署 2.2Ambari和HDP下载配置 2.3Ambari安装部署 2.4HDP安装部署...

在部署ambari的时候会出现如题的错误。这个错误是在配置host的时候出现的错误。直接google如题的错误可以得到 https://www.centos.org/forums/viewtopic.php?f=14t=43803 这个连接的解释，这个是说centos6.5的一个bug，不过已经修复了。如果是使用在线的yum...

ambari 安装Hortonworks HDP 时在检测host时异常。 The following hosts have Transparent Huge Pages (THP) enabled。THP should be disabled to avoid potential Hadoop performance issues. 解决办法,在Linux下执行： echonever/sys/kernel/mm/redhat_tra...

高性能网站架构方案，本文谈了七点网站架构方案，用以优化网站响应时间，实现大型网站技术架构方案。无论是电子商务或者其他网站且可使用。 一、优化网站响应时间的架构方案： 网站能不能留的住用户，一方面是看内容，另一方面是看响应时间。通常有以下几个...

在之前中探讨了web集群中：web集群应用保持session同步的3种方法探讨 个人觉得用memcache来同步session是还是不错的，当然也可以通过redis来保存session php开启将Session存储到Redis缓存，下面是我的设置的利用memcache在web集群中同步会话session过程： 1...