• hadoop管理

    日期:

    1. hdfs基本统计情况 fs是个比较抽象的层面,在分布式环境中,fs就是dfs,但在本地环境中,fs是local file system,这个时候dfs就不能用。 hadoop dfsadmin -report 2. hadoop安全模式 NameNode在启动时会自动进入安全模式。安全模式是NameNode的一种状态,在...

  • Hadoop三种安装模式

    日期:

    Hadoop三种安装模式:单机模式,伪分布式,真正分布式 一 单机模式standalone 单机模式是Hadoop的默认模式。当首次解压Hadoop的源码包时,Hadoop无法了解硬件安装环境,便保守地选择了最小配置。在这种默认模式下所有3个XML文件均为空。当配置文件为空时,Had...

  • 伪分布模式下执行wordcount实例时报错解决办法

    日期:

    问题1、不能分配内存,错误提示如下: FAILED java.lang.RuntimeException: Error while running command to get file permissions : java.io.IOException: Cannot run program /bin/ls: java.io.IOException: error=12, Cannot allocate memory at java.lang...

  • 安装hadoop2.4.0遇到的问题

    日期:

    一、执行start-dfs.sh后,datenode没有启动 查看日志如下: 2014-06-18 20:34:59,622 FATAL org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for block pool Block pool registering (Datanode Uuid unassigned) service to localh...

  • Eclipse下搭建Hadoop2.4.0开发环境

    日期:

    一、安装Eclipse 下载Eclipse,解压安装,例如安装到/usr/local,即/usr/local/eclipse 4.3.1版本下载地址:http://pan.baidu.com/s/1eQkpRgu 二、在eclipse上安装hadoop插件 1、下载hadoop插件 下载地址:http://pan.baidu.com/s/1mgiHFok 此zip文件包含了...

  • 一、Ubuntu14.04下安装Hadoop2.4.0 (单机模式)

    日期:

    一、在Ubuntu下创建hadoop组和hadoop用户 增加hadoop用户组,同时在该组里增加hadoop用户,后续在涉及到hadoop操作时,我们使用该用户。 1、创建hadoop用户组 2、创建hadoop用户 sudo adduser -ingroup hadoop hadoop 回车后会提示输入新的UNIX密码,这是新...

  • 二、Ubuntu14.04下安装Hadoop2.4.0 (伪分布模式)

    日期:

    在Ubuntu14.04下安装Hadoop2.4.0(单机模式)基础上配置 一、配置core-site.xml /usr/local/hadoop/etc/hadoop/core-site.xml 包含了hadoop启动时的配置信息。 编辑器中打开此文件 sudo gedit /usr/local/hadoop/etc/hadoop/core-site.xml 在该文件的configu...

  • ubuntu + hadoop2.5.2分布式环境配置

    日期:

    我之前有详细写过hadoop-0.20.203.0rc1版本的环境搭建 hadoop学习笔记环境搭建 http://www.cnblogs.com/huligong1234/p/3533382.html 本篇部分细节就不多说。 一、基础环境准备 系统:(VirtualBox) ubuntu-12.04.2-desktop-i386.iso hadoop版本:hadoop-2.5....

  • CentOS 6.4 编译 Hadoop 2.5.1

    日期:

    1 前提准备 建议关闭编译机器上的防火墙与SELinux。 需要保证编译机器可以访问互联网。 卸载机器上的OpenJDK,并安装上64位的Oracle JDK。此处选用JDK7。 注意:经过实践,直到Hadoop 2.6.3使用JDK8进行编译依然存在出现各种问题。理论上应该可以解决,可是...

  • Hadoop CDH5 Impala部署

    日期:

    Cloudera发布了实时查询开源项目Impala!多款产品实测表明,比原来基于MapReduce的Hive SQL查询速度提升3~90倍。Impala是Google Dremel的模仿,但在SQL功能上青出于蓝胜于蓝。 CDH5 Impala 安装 1impala由四部分组成: impalad - Impala的守护进程. 计划执...