• hadoop1.1.2分布式环境搭建

    日期：

    hadoop1.1.2分布式安装 Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统（HDFS，Hadoop Distributed Filesystem）和MapReduce（Google MapReduce的开源实现）为核心的Hadoop为用户提供了系统底层细节透明的分布式...

  • Hadoop家族学习路线图

    日期：

    Hadoop家族系列文章 ，主要介绍Hadoop家族产品，常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa，新增加的项目包括，YARN, Hcatalog, Oozie, Cassandra, Hama, Whirr, Flume, Bigtop, Crunch, Hue等。 从2011年开...

  • 使用配置Hadoop中常用的Linux(Ubuntu)命令

    日期：

    使用配置Hadoop中常用的linux(Ubuntu)命令 生成key： $ ssh-keygen -t dsa -P -f ~/.ssh/id_dsa $ cat ~/.ssh/id_dsa.pub ~/.ssh/authorized_keys -t 密钥类型可以用 -t 选项指定。如果没有指定则默认生成用于SSH-2的RSA密钥。 -f filename 指定密钥文件名。...

  • Hadoop在Map阶段获取当前split的文件名

    日期：

    在mapper处理阶段中有时候我们需要获取当前正在处理的HDFS文件名/HDFS目录名，其实我们可以通过 Context 来获取相关参数，代码类似如下： 1 2 3 4 5 FileSplit fileSplit = (FileSplit) context.getInputSplit(); System.out.println(======== getPath.getNa...

  • hadoop多硬盘配置注意点

    日期：

    [一]、实验环境 1.1、环境 hadoop 2.6.0 namenode 2个 各增加 2个1T硬盘 datanode 3个 各增加3个1T硬盘 1.2、挂载硬盘 fdisk 分区 (输入mnp1回车回车pw) mkfs 格式化硬盘 ( mkfs.ext4 ) mount 挂载硬盘 (以挂载目录为 /bigdata/data0 /bigdata/data1 . /bigd...

  • Hadoop修改配置PID文件路径

    日期：

    [一]、 概述 Hadoop启动后的PID文件默认配置是保存在 /tmp 目录下的，而linux下 /tmp 目录会定时清理，所以在集群运行一段时间后如果在停Hadoop相关服务是会出现类似：no datanode to stop 的错误提示，一般生产环境中我们需要重新修改PID的保存路径。 [二]、...

  • HBase安装配置snappy压缩算法

    日期：

    [一]、前提 首先是snappy编译安装和hadoop-snappy编译，这个可以直接参考：Hadoop安装配置snappy压缩，所有前提准备好后，HBase上安装配置snappy压缩算法就相对简单多了。 [二]、实验环境 角色 OS(系统) JDK Master CentOS6.3 1.7.0_75 RegionServer CentOS5...

  • Hadoop安装配置snappy压缩

    日期：

    本文的主要详细介绍hadoop2.x中snappy压缩算法安装配置的详细步骤。 [一]、 实验环境 CentOS 6.3 64位 Hadoop 2.6.0 JDK1.7.0_75 [二]、 snappy编译安装 2.1、下载源码 到官网http://code.google.com/p/snappy/或者到https://github.com/google/snappy下载源...

  • HBase+Hadoop2 NN HA+Zookeeper独立安装的整合

    日期：

    Hadoop2 NN HA+Zookeeper独立安装的步骤参见：http://www.micmiu.com/bigdata/hadoop/hadoop2-cluster-ha-setup/，本文HBase的整合是在此环境搭建好的基础上进行的。 1、各节点的角色分配 hostname IP Hadoop角色 HBase角色 nn1.hadoop zk1.hadoop 172.17.22...

  • Hadoop2分布式及NN和RM实现HA的实验

    日期：

    目录结构 引言 实验环境 实验过程 演示demo [一]、 引言 在Hadoop2.x初期的时候写过一篇hadoop 2.2.0 集群模式安装配置和测试，记录了分布式搭建的最基本的搭建步骤和运行演示，那篇文章中没有对HA的配置做实验，本文会详细介绍 Hadoop2的分布式、NameNode配...

最近关注
热点内容