执行bin/stop-all.sh的时候发现no datanode ....的解决方法

hadoop使用过程中出现了很多错误，例如，执行bin/stop-all.sh的时候发现no datanode .... 解决方法： 配置完hadoop，执行bin/hadoop namenode -format 之后还需要执行 bin/hadoop datanode -format 。...

详解Hadoop的InputFormat类

Hadoop的InputFormat类 本节介绍下org.apache.hadoop.mapreduce.InputFormat这个抽象类。 关于此抽象类的功能描述： 1、首先为Job验证输入； 2、将输入的文件分成逻辑上的splits，每个split会被应用到一个单独的mapper上； 3、提供RecorderReader的实现，用...

详解Hadoop更快排序的方法

在Hadoop中，键默认的排序处理方法是这样的： 从一个流中读键类型的实例，使用键类型的readFields()方法来解析字节流，然后对这两个对象调用compareTo()方法。 其实，还可以实现更快的排序，可以只通过检视字节流而不用解析出包含在其中的数据来判断这两个ke...

分享下Hadoop_Configuration配置文件

本节主要内容： Hadoop_Configuration配置 刚接触Hadoop的API的朋友，首先接触的可能是Configuration这个类，很多的其它方法都需要这个Configuration对象作为参数传入。 其中最重要的莫过于它将用户对Hadoop所做的配置全部记录下来了。 以下是我通过调用Conf...

Hadoop实例之从Hadoop URL中读取数据

问题描述：从Hadoop文件系统中读取文件，最简方法为：使用java.net.URL 对象打开数据流，进而从中读取数据。 例如： 复制代码 代码示例: InputStream in = null; try{ in = new URL(hdfs://host/path).openStream(); }finally{ IOUtils.closeStream(in); }...

Linux LB 集群知识、如何用 LVS 方式实现 LB 集群？

LB负载均衡的目的是为了提高访问的并发性和服务器的性能。实现 LB 的方式主要有软件方式和硬件方式。软件方式实现的软件有LVS工作于传输层、nginx工作于应用层haproxy工作于传输层和应用层硬件方式实现的软件有 BIG-IPF5,A10A10等。这里主要介绍软件方式实现...

windows server 2003 负载平衡的详细设置步骤

当把一台服务器（包括Web服务器、FTP服务器或者流媒体服务器等等）放入网络中之后，随着客户端数量的不断增加，人们往往需要功能更强大、处理速度更快的服务器。为了解决这个问题，如果将原有的服务器替换成功能更强大、处理速度更快的服务器显然并不是值得...

CentOS下LVS+keepalived+nginx+tomcat部署实现

# 节点分布情况 LVS-dr-master eth0: 192.168.146.141 LVS-dr-slave eth0:192.168.146.142 nginx1: eth0:192.168.146.139 nginx2: eth0:192.168.146.140 tomcat1: eth0:192.168.146.138启用了4个tomcat VIP: 192.168.146.200 # 拓扑如下所示 # 具体配置 ###...

Hadoop2.X/YARN环境搭建--CentOS7.0 JDK配置

在Centos中，进行配置jdk的环境，这个还是折腾了我听挺久的。特别是在一次配置中，导致后来我的root用户无法登录，并且用其他普通用户登录，使用su - root切换到root用户，都无法使用ls这一些普通的命令。由于没有权限，各种更改，都没辙。各种麻烦...

linux下搭建hadoop环境步骤分享

linux下搭建hadoop环境步骤 1、下载hadoop包 wget http://apache.freelamp.com/hadoop/core/stable/hadoop-0.20.2.tar.gz 2、tar xvzf hadoop-0.20.2.tar.gz 3、安装JDK，从oracle网站上直接下载JDK，地址：http://www.oracle.com/technetwork/java/javase/do...