最近在弄hadoop2.0，把遇到的一些问题做个笔记： 版本：apache hadoop-2.2.0 2013-10-29 在启动nodemanager的时候报下面的错误： 2013-10-2911:32:21,523FATALorg.apache.hadoop.yarn.server.nodemanager.NodeManager:ErrorstartingNodeManager java.lang.Il...

首先先看一下文档： http://dongxicheng.org/mapreduce-nextgen/hadoop-upgrade-to-version-2/ http://dongxicheng.org/mapreduce-nextgen/hadoop-upgrade-in-version-1/ http://www.cloudera.com/content/cloudera-content/cloudera-docs/CDH4/latest/CDH4-...

装好的hadoop测试一1个示例程序WordCount，首先需要在操作系统上新建两个任意文件，然后上传到hadoop，再运行该程序统计文件中单词的个数，最后查看结果。 在操作系统上新建任意文件： 例如： [hadoop@hadoop01 input]$ ls test1.txt test2.txt 查看hadoop的...

做软件开发的都知道模块化思想，这样设计的原因有两方面： 一方面是可以模块化，功能划分更加清晰，从数据采集--数据接入--流失计算--数据输出/存储 1）.数据采集 负责从各节点上实时采集数据，选用cloudera的flume来实现 2）.数据接入 由于采集数据的速度和...

一、Storm基本概念 在运行一个Storm任务之前，需要了解一些概念： Topologies Streams Spouts Bolts Stream groupings Reliability Tasks Workers Configuration Storm集群和Hadoop集群表面上看很类似。但是Hadoop上运行的是MapReduce jobs，而在Storm上运行...

hadoop fs ls 查看/usr/root目录下的内容，默认如果不填路径这就是当前用户路径； hadoop fs rmr xxx xxx就是删除目录； hadoop dfsadmin -report 这个命令可以全局的查看DataNode的情况； hadoop job -list 后面增加参数是对于当前运行的Job的操作，例如list...

刚刚搭建了立一个namenode，一个datanode的集群，format节点成功，并且start-all成功，但是当我运行 $ bin/hadoop fs -mkdir input $ bin/hadoop fs -put conf/core-site.xml input 命令后，出现了异常：error hdfs.DFSClient:Exception closing file /user/...

Hadoop集群安装 首先我们统一一下定义，在这里所提到的Hadoop是指Hadoop Common，主要提供DFS（分布式文件存储）与Map/Reduce的核心功能。 Hadoop在windows下还未经过很好的测试，所以笔者推荐大家在linux（cent os 5.X）下安装使用。 准备安装Hadoop集群之...

在2.x 终于实现了快照 设置一个目录为可快照: 1 hdfs dfsadmin -allowSnapshot path 取消目录可快照 1 hdfs dfsadmin -disallowSnapshot path 生成快照 1 hdfs dfs -createSnapshot path [snapshotName] 删除快照 1 hdfs dfs -deleteSnapshot path snapshotN...

1 . 安装与编译相关的包 1 2 3 4 5 yum install svn -y yum install autoconfautomake libtool cmake -y yum install ncurses-devel -y yum install openssl-devel -y yum install gcc* -y 2 . 安装maven通过写好xml会简化繁琐的编译流程.. 网址http://maven....

1. 部署环境 系统:CentOS 6.3 需要安装jdk. JDK的RPM下载地址:http://www.oracle.com/technetwor ... nloads-1880260.html hadoop手册地址:http://hadoop.apache.org/docs/r1.2.1/index.html 关闭iptables和selinux 1 2 3 4 /etc/init.d/iptables stop chkco...

1. 部署环境 系统:CentOS 6.3 JDK和hadoop的下载直接参考分布式安装... 2. 伪分布式环境 不需要配置/etc/hosts 本机也需要免密码ssh登录 1 ssh localhost 3. 配置修改 1. conf/core-site.xml 1 2 3 4 5 configuration property namefs.default.name/name val...

1. 部署环境 系统:CentOS 6.3 需要安装jdk. JDK的RPM下载地址:http://www.oracle.com/technetwor ... nloads-1880260.html hadoop手册地址:http://hadoop.apache.org/docs/r1.2.1/index.html 关闭iptables和selinux 1 2 3 4 /etc/init.d/iptables stop chkco...

正如大多数源码解读，第一篇为NameNode的解析。 首先将NameNode注释翻译一下，大概意思如下： 1.NameNode 服务器有两个作用： a.目录名称空间的管理者 b.维护 hadoop 分布式系统的inode table 2.NameNode维护着两个关键的对应关系 a.文件名和block 块 b.block...

测试环境的hive cli启动时报错： 1 Unable to determine Hadoop version information. hive是一个shell: 使用sh -x跟踪运行过程，可以看到其通过hadoop version获取hdfs的版本 相关的代码如下： 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23...

这几天正好在做cdh4.6.0到cdh5.2.0的升级测试，经常需要启动/关闭各种服务，简单看了下各个服务管理脚本，这里简单记录下： 主要的服务管理脚本如下 hdfs相关 1）hadoop-daemon.sh，可用于启动单一的服务 依次调用hadoop-config.sh和hadoop-env.sh 加载相关...

0. 服务说明 NameNode NameNode是HDFS的守护程序，负责记录文件是如何分割成数据块的，以及这些数据块被存储到哪些数据节点上。它的功能是对内存及I/O进行集中管理。 DataNode 集群中每个从服务器都运行一个DataNode后台程序，后台程序负责把HDFS数据块读写到...

Pre-installation 保证所有主机上已经安装JDK 1.6+和ssh。 添加主机名到/etc/hosts 修改/etc/hosts 1 sudo vi /etc/hosts 添加 1 2 192.168.56.101 zhenlong-master 192.168.56.102 zhenlong-slave1 配置无密码的ssh连接 在所有主机上生成ssh的公钥和私钥 1...

安装以及配置Java JDK安装 #chmod 777 jre-6u31-linux-x64-rpm.bin #./jre-6u31-linux-x64-rpm.bin 添加java环境变量 #vim /etc/profile #最后添加 # set java environment export JAVA_HOME=/usr/java/jre1.6.0_31 export CLASSPATH=.:$JAVA_HOME/jre/lib/r...

MapReduce允许程序员能够容易地编写并行运行在大规模集群上处理大量数据的程序，确保程序的运行稳定可靠和具有容错处理能力。程序员编写的运行在MapReduce上的应用程序称为作业（job），Hadoop既支持用Java编写的job，也支持其它语言编写的作业，比如Hadoop...

MapReduce框架的优势是可以在集群中并行运行mapper和reducer任务，那如何确定mapper和reducer的数量呢，或者说Hadoop如何以编程的方式控制作业启动的mapper和reducer数量呢？在《Hadoop-2.4.1学习之Mapper和Reducer》中曾经提及建议reducer的数量为(0.95~1.7...

添加节点 1.修改host 和普通的datanode一样。添加namenode的ip 2.修改namenode的配置文件conf/slaves 添加新增节点的ip或host 3.在新节点的机器上，启动服务 [root@slave-004 hadoop] # ./bin/hadoop-daemon.sh start datanode [root@slave-004 hadoop] # ./...

hbase 异常处理 2013-01-08 15:37:19,565 WARN org.apache.hadoop.ipc.HBaseServer: IPC Server listener on 60000: readAndProcess threw exception java.io.IOException: Connection reset by peer. Count of bytes read: 0java.io.IOException: Connectio...

hadoop安装包：hadoop0.20.205.0.tar.gz 操作系统： fedora14 jdk版本： jdk1.6.0_31 一、安装过程 对于hadoop ,不同的系统会有不同的节点划分方式。在HDFS看来，节点分为Namenode和Datanode，其中Namenode只有一个，datanode可以有多个；在MapReduce看来，...

要想深入的学习Hadoop数据分析技术，首要的任务是必须要将hadoop集群环境搭建起来，可以将hadoop简化地想象成一个小软件，通过在各个物理节点上安装这个小软件，然后将其运行起来，就是一个hadoop分布式集群了。 说来简单，但是应该怎么做呢？不急，本文的主...

尝试进入大数据领域开发，从目前最火的Hadoop入手是必须的，本文一步步记录了 Ubuntu 环境安装Hadoop 1.2.1 ,搭建单机模式以及伪分布式模式，希望对各位和我一样的菜鸟有所帮助，共同学习进步，欢迎交流。尝试2.1安装失败，由于文件结构不太一样缺乏相关资料...

一个分布式系统基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有着高容错性的特点，并且...

791 cd /home/hadoop/hadoop/hadoop-1.0.2/ 792 bin/hadoop jar hadoop-examples-1.0.2.jar wordcount input out11 793 bin/hadoop jar hadoop-examples-1.0.2.jar wordcount input/* out1111/ 794 bin/hadoop jar hadoop-examples-1.0.2.jar wordcount inpu...