• Hadoop修改配置PID文件路径

    日期：

    [一]、 概述 Hadoop启动后的PID文件默认配置是保存在 /tmp 目录下的，而linux下 /tmp 目录会定时清理，所以在集群运行一段时间后如果在停Hadoop相关服务是会出现类似：no datanode to stop 的错误提示，一般生产环境中我们需要重新修改PID的保存路径。 [二]、...

  • HBase安装配置snappy压缩算法

    日期：

    [一]、前提 首先是snappy编译安装和hadoop-snappy编译，这个可以直接参考：Hadoop安装配置snappy压缩，所有前提准备好后，HBase上安装配置snappy压缩算法就相对简单多了。 [二]、实验环境 角色 OS(系统) JDK Master CentOS6.3 1.7.0_75 RegionServer CentOS5...

  • Hadoop安装配置snappy压缩

    日期：

    本文的主要详细介绍hadoop2.x中snappy压缩算法安装配置的详细步骤。 [一]、 实验环境 CentOS 6.3 64位 Hadoop 2.6.0 JDK1.7.0_75 [二]、 snappy编译安装 2.1、下载源码 到官网http://code.google.com/p/snappy/或者到https://github.com/google/snappy下载源...

  • HBase+Hadoop2 NN HA+Zookeeper独立安装的整合

    日期：

    Hadoop2 NN HA+Zookeeper独立安装的步骤参见：http://www.micmiu.com/bigdata/hadoop/hadoop2-cluster-ha-setup/，本文HBase的整合是在此环境搭建好的基础上进行的。 1、各节点的角色分配 hostname IP Hadoop角色 HBase角色 nn1.hadoop zk1.hadoop 172.17.22...

  • Hadoop2分布式及NN和RM实现HA的实验

    日期：

    目录结构 引言 实验环境 实验过程 演示demo [一]、 引言 在Hadoop2.x初期的时候写过一篇hadoop 2.2.0 集群模式安装配置和测试，记录了分布式搭建的最基本的搭建步骤和运行演示，那篇文章中没有对HA的配置做实验，本文会详细介绍 Hadoop2的分布式、NameNode配...

  • hadoop管理

    日期：

    1. hdfs基本统计情况 fs是个比较抽象的层面，在分布式环境中，fs就是dfs，但在本地环境中，fs是local file system，这个时候dfs就不能用。 hadoop dfsadmin -report 2. hadoop安全模式 NameNode在启动时会自动进入安全模式。安全模式是NameNode的一种状态，在...

  • Hadoop三种安装模式

    日期：

    Hadoop三种安装模式：单机模式，伪分布式，真正分布式 一 单机模式standalone 单机模式是Hadoop的默认模式。当首次解压Hadoop的源码包时，Hadoop无法了解硬件安装环境，便保守地选择了最小配置。在这种默认模式下所有3个XML文件均为空。当配置文件为空时，Had...

  • 伪分布模式下执行wordcount实例时报错解决办法

    日期：

    问题1、不能分配内存，错误提示如下： FAILED java.lang.RuntimeException: Error while running command to get file permissions : java.io.IOException: Cannot run program /bin/ls: java.io.IOException: error=12, Cannot allocate memory at java.lang...

  • 安装hadoop2.4.0遇到的问题

    日期：

    一、执行start-dfs.sh后，datenode没有启动 查看日志如下： 2014-06-18 20:34:59,622 FATAL org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for block pool Block pool registering (Datanode Uuid unassigned) service to localh...

  • Eclipse下搭建Hadoop2.4.0开发环境

    日期：

    一、安装Eclipse 下载Eclipse，解压安装，例如安装到/usr/local，即/usr/local/eclipse 4.3.1版本下载地址：http://pan.baidu.com/s/1eQkpRgu 二、在eclipse上安装hadoop插件 1、下载hadoop插件 下载地址：http://pan.baidu.com/s/1mgiHFok 此zip文件包含了...

最近关注
热点内容