使用ganglia监控hadoop的配置方法

介绍：Hadoop本身提供了很多监控工具的接口，如JMX、Nagios、Ganglia等。使用Ganglia监控hadoop，配置起来非常简单，只需要修改$HADOOP_HOME/conf/hadoop-metrics.properties文件，把相关的配置段修改为下面的示例： 复制代码 代码如下: # Configuration of...

创建hadoop账号的方法

之前安装hadoop集群时，使用了root账号，后来发现有一些安全隐患，于是就把线上的集群统一配置到了hadoop账号下。 以下是具体操作步骤： １：创建hadoop账号 复制代码 代码如下: useradd hadoop ２：ssh无密码登陆 复制代码 代码如下: su hadoop ssh-keygen...

Hadoop 报错：＂Name node is in safe mode＂ 的解决方法

运行hadoop程序时，有时会报如下的错误： org.apache.hadoop.dfs.SafeModeException: Cannot delete /user/hadoop/input. Name node is in safe mode 这个错误应该很常见的吧。 错误分析，从字面上来理解： Name node is in safe mode 说明Hadoop的NameNode...

linux下搭建hadoop环境步骤分享

1、下载hadoop包 wget http://apache.freelamp.com/hadoop/core/stable/hadoop-0.20.2.tar.gz 2、tar xvzf hadoop-0.20.2.tar.gz 3、安装JDK，从oracle网站上直接下载JDK，地址：http://www.oracle.com/technetwork/java/javase/downloads/index.html 4、chm...

学习hadoop过程中用到的一些命令

学习hadoop过程中用到的一些命令，这里作个记录，以备后阅。 1、ubuntu12 下如何打开终端：CTRL+ALT+t 2、ubuntu12 下查看JAVA_HOME环境变量:echo $JAVA_HOME 3、解压压缩文件：tar -xzvf hadoop-1.0.1.tar.gz 4、文件编辑命令：sudo gedit hadoop_env.sh 5...

执行bin/stop-all.sh的时候发现no datanode ....的解决方法

hadoop使用过程中出现了很多错误，例如，执行bin/stop-all.sh的时候发现no datanode .... 解决方法： 配置完hadoop，执行bin/hadoop namenode -format 之后还需要执行 bin/hadoop datanode -format 。...

详解Hadoop的InputFormat类

Hadoop的InputFormat类 本节介绍下org.apache.hadoop.mapreduce.InputFormat这个抽象类。 关于此抽象类的功能描述： 1、首先为Job验证输入； 2、将输入的文件分成逻辑上的splits，每个split会被应用到一个单独的mapper上； 3、提供RecorderReader的实现，用...

详解Hadoop更快排序的方法

在Hadoop中，键默认的排序处理方法是这样的： 从一个流中读键类型的实例，使用键类型的readFields()方法来解析字节流，然后对这两个对象调用compareTo()方法。 其实，还可以实现更快的排序，可以只通过检视字节流而不用解析出包含在其中的数据来判断这两个ke...

分享下Hadoop_Configuration配置文件

本节主要内容： Hadoop_Configuration配置 刚接触Hadoop的API的朋友，首先接触的可能是Configuration这个类，很多的其它方法都需要这个Configuration对象作为参数传入。 其中最重要的莫过于它将用户对Hadoop所做的配置全部记录下来了。 以下是我通过调用Conf...

Hadoop实例之从Hadoop URL中读取数据

问题描述：从Hadoop文件系统中读取文件，最简方法为：使用java.net.URL 对象打开数据流，进而从中读取数据。 例如： 复制代码 代码示例: InputStream in = null; try{ in = new URL(hdfs://host/path).openStream(); }finally{ IOUtils.closeStream(in); }...