• hadoop(1.2) 分布式部署

    日期：

    1. 部署环境 系统:CentOS 6.3 需要安装jdk. JDK的RPM下载地址:http://www.oracle.com/technetwor ... nloads-1880260.html hadoop手册地址:http://hadoop.apache.org/docs/r1.2.1/index.html 关闭iptables和selinux 1 2 3 4 /etc/init.d/iptables stop chkco...

  • Hadoop源码解读之（一） NameNode

    日期：

    正如大多数源码解读，第一篇为NameNode的解析。 首先将NameNode注释翻译一下，大概意思如下： 1.NameNode 服务器有两个作用： a.目录名称空间的管理者 b.维护 hadoop 分布式系统的inode table 2.NameNode维护着两个关键的对应关系 a.文件名和block 块 b.block...

  • hive cli启动判断hadoop version的问题

    日期：

    测试环境的hive cli启动时报错： 1 Unable to determine Hadoop version information. hive是一个shell: 使用sh -x跟踪运行过程，可以看到其通过hadoop version获取hdfs的版本 相关的代码如下： 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23...

  • hadoop常用服务管理命令

    日期：

    这几天正好在做cdh4.6.0到cdh5.2.0的升级测试，经常需要启动/关闭各种服务，简单看了下各个服务管理脚本，这里简单记录下： 主要的服务管理脚本如下 hdfs相关 1）hadoop-daemon.sh，可用于启动单一的服务 依次调用hadoop-config.sh和hadoop-env.sh 加载相关...

  • Hadoop 2.5.1 集群安装配置

    日期：

    0. 服务说明 NameNode NameNode是HDFS的守护程序，负责记录文件是如何分割成数据块的，以及这些数据块被存储到哪些数据节点上。它的功能是对内存及I/O进行集中管理。 DataNode 集群中每个从服务器都运行一个DataNode后台程序，后台程序负责把HDFS数据块读写到...

  • Hadoop 2.2.0安装及配置

    日期：

    Pre-installation 保证所有主机上已经安装JDK 1.6+和ssh。 添加主机名到/etc/hosts 修改/etc/hosts 1 sudo vi /etc/hosts 添加 1 2 192.168.56.101 zhenlong-master 192.168.56.102 zhenlong-slave1 配置无密码的ssh连接 在所有主机上生成ssh的公钥和私钥 1...

  • Centos 6.5 下Hadoop 1.2.1单节点环境的创建

    日期：

    安装以及配置Java JDK安装 #chmod 777 jre-6u31-linux-x64-rpm.bin #./jre-6u31-linux-x64-rpm.bin 添加java环境变量 #vim /etc/profile #最后添加 # set java environment export JAVA_HOME=/usr/java/jre1.6.0_31 export CLASSPATH=.:$JAVA_HOME/jre/lib/r...

  • Hadoop-2.4.1学习之Mapper和Reducer

    日期：

    MapReduce允许程序员能够容易地编写并行运行在大规模集群上处理大量数据的程序，确保程序的运行稳定可靠和具有容错处理能力。程序员编写的运行在MapReduce上的应用程序称为作业（job），Hadoop既支持用Java编写的job，也支持其它语言编写的作业，比如Hadoop...

  • Hadoop-2.4.1学习之如何确定Mapper数量

    日期：

    MapReduce框架的优势是可以在集群中并行运行mapper和reducer任务，那如何确定mapper和reducer的数量呢，或者说Hadoop如何以编程的方式控制作业启动的mapper和reducer数量呢？在《Hadoop-2.4.1学习之Mapper和Reducer》中曾经提及建议reducer的数量为(0.95~1.7...

  • Hadoop添加删除节点

    日期：

    添加节点 1.修改host 和普通的datanode一样。添加namenode的ip 2.修改namenode的配置文件conf/slaves 添加新增节点的ip或host 3.在新节点的机器上，启动服务 [root@slave-004 hadoop] # ./bin/hadoop-daemon.sh start datanode [root@slave-004 hadoop] # ./...

最近关注
热点内容