• hadoop集群启动

    日期：

    Hadoop集群安装 首先我们统一一下定义，在这里所提到的Hadoop是指Hadoop Common，主要提供DFS（分布式文件存储）与Map/Reduce的核心功能。 Hadoop在windows下还未经过很好的测试，所以笔者推荐大家在linux（cent os 5.X）下安装使用。 准备安装Hadoop集群之...

  • Hadoop 2.x 快照

    日期：

    在2.x 终于实现了快照 设置一个目录为可快照: 1 hdfs dfsadmin -allowSnapshot path 取消目录可快照 1 hdfs dfsadmin -disallowSnapshot path 生成快照 1 hdfs dfs -createSnapshot path [snapshotName] 删除快照 1 hdfs dfs -deleteSnapshot path snapshotN...

  • hadoop 2.2 本地库编译

    日期：

    1 . 安装与编译相关的包 1 2 3 4 5 yum install svn -y yum install autoconfautomake libtool cmake -y yum install ncurses-devel -y yum install openssl-devel -y yum install gcc* -y 2 . 安装maven通过写好xml会简化繁琐的编译流程.. 网址http://maven....

  • hadoop(2.5) 分布式部署

    日期：

    1. 部署环境 系统:CentOS 6.3 需要安装jdk. JDK的RPM下载地址:http://www.oracle.com/technetwor ... nloads-1880260.html hadoop手册地址:http://hadoop.apache.org/docs/r1.2.1/index.html 关闭iptables和selinux 1 2 3 4 /etc/init.d/iptables stop chkco...

  • hadoop(1.2) 伪分布式部署

    日期：

    1. 部署环境 系统:CentOS 6.3 JDK和hadoop的下载直接参考分布式安装... 2. 伪分布式环境 不需要配置/etc/hosts 本机也需要免密码ssh登录 1 ssh localhost 3. 配置修改 1. conf/core-site.xml 1 2 3 4 5 configuration property namefs.default.name/name val...

  • hadoop(1.2) 分布式部署

    日期：

    1. 部署环境 系统:CentOS 6.3 需要安装jdk. JDK的RPM下载地址:http://www.oracle.com/technetwor ... nloads-1880260.html hadoop手册地址:http://hadoop.apache.org/docs/r1.2.1/index.html 关闭iptables和selinux 1 2 3 4 /etc/init.d/iptables stop chkco...

  • Hadoop源码解读之（一） NameNode

    日期：

    正如大多数源码解读，第一篇为NameNode的解析。 首先将NameNode注释翻译一下，大概意思如下： 1.NameNode 服务器有两个作用： a.目录名称空间的管理者 b.维护 hadoop 分布式系统的inode table 2.NameNode维护着两个关键的对应关系 a.文件名和block 块 b.block...

  • hive cli启动判断hadoop version的问题

    日期：

    测试环境的hive cli启动时报错： 1 Unable to determine Hadoop version information. hive是一个shell: 使用sh -x跟踪运行过程，可以看到其通过hadoop version获取hdfs的版本 相关的代码如下： 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23...

  • hadoop常用服务管理命令

    日期：

    这几天正好在做cdh4.6.0到cdh5.2.0的升级测试，经常需要启动/关闭各种服务，简单看了下各个服务管理脚本，这里简单记录下： 主要的服务管理脚本如下 hdfs相关 1）hadoop-daemon.sh，可用于启动单一的服务 依次调用hadoop-config.sh和hadoop-env.sh 加载相关...

  • Hadoop 2.5.1 集群安装配置

    日期：

    0. 服务说明 NameNode NameNode是HDFS的守护程序，负责记录文件是如何分割成数据块的，以及这些数据块被存储到哪些数据节点上。它的功能是对内存及I/O进行集中管理。 DataNode 集群中每个从服务器都运行一个DataNode后台程序，后台程序负责把HDFS数据块读写到...

最近关注
热点内容