基于Hadoop0.20.2版本的namenode与secondarynamenode分离实验

我们在Hadoop配置集群时，经常将namenode与secondarynamenode存放在一个节点上，其实这是非常危险的，如果此节点崩溃的话，则整个集群不可恢复。下面介绍一下将namenode与secondarynamenode分离的方法。当然还存在好多不足和待改进的地方，欢迎各位大神指点...

Hadoop集群部署时候的几个问题记录

由于Hadoop 2.5.x 已经出来有好几个月了，网上配置类似架构的文章也有很多，所以在这里重点描述一下namenode 和 secondary namenode不再同一台机器上的配置方法，以及namenode 宕机后 meta数据的恢复方法，并且描述一下几个主要配置文件中配置项的意义。 集...

Hadoop单节点安装部署

从零开始 机器环境 Distributor ID:CentOS Description: CentOS release 5.8 (Final) Release: 5.8 Codename: Final jdk 版本 java version 1.6.0_45 hadoop 版本 2.5.2 http://mirrors.cnnic.cn/apache/hadoop/common/hadoop-2.5.2/ 安装jdk: 从甲骨文官方...

Hadoop中HDFS读取文件的原理剖析

Hadoop文件存储的一些逻辑与简单原理，既然后写入，那肯定要读取分析数据咯，下面我在白话一下hdfs中文件读取的逻辑与简单原理。 第一步：跟写入文件一样，首先客户端会调用DistributedFilesyStem 对象的open（）方法来打开文件，这个方法要做的事情就是：Di...

Hadoop中HDFS写入文件的原理剖析

要为即将到来的大数据时代最准备不是，下面的大白话简单记录了Hadoop中HDFS在存储文件时都做了哪些个事情，位将来集群问题的排查提供一些参考依据。 步入正题 创建一个新文件的过程： 第一步：客户端通过DistributedFilesystem 对象中的creat（）方法来创建...

Hadoop-HDFS源码学习草记

HDFS protocol: Block 块定义，组成（blockId,numBytes,generationStamp），定义问块文件的文件命名为blk_{blockId},存储的最小单位。 BlockListAsLongs：每个Block块可以由3个long的数字表达，使用long[]存储Block[],主要用于datanode高效的上报给namenode...

Hadoop初探之MapReduce+HBase实例

一、环境配置 这里选择的环境是hadoop-0.20.2和hbase-0.90.4，Hadoop环境配置参看这里，HBase环境配置请看这里。 需要注意的是，本文的需求是在Hadoop上跑MapReduce job来分析日志并将结果持久化到HBase，所以，在编译程序时，Hadoop需要用到HBase和Zookeeper...

Hadoop集群搭建

本文主要向大家介绍有关Hadoop集群搭建，从配置环境到简单的命令启动一一进行了讲解。希望对于想接触hadoop的你有所帮助。 首先说一下配置环境：三台电脑 192.168.30.149hadoop149namenode和jobtracker###因为149机器稍微好一点 192.168.30.150hadoop150data...

Hadoop安装部署

花了两天时间把Hadoop 0.18.3部署到了RedHat 9上。总结一下思路。 环境：RedHat 9 + Hadoop 0.18.3 + JDK 1.6u14 新建一个用户: howard 首先，从SUN上下载了JDK 1.6u14（使用Hadoop必须保证JDK在1.5以上的版本）用root身份登录，使用vi /etc/profile命令，在...

谈Hadoop的C++扩展

原文在http://blog.sina.com.cn/s/blog_6e273ebb0100pid0.html 长期一来，Hadoop因为其Java实现带来的性能问题而饱受争议，同时也涌现了很多方案来缓解这一问题。 Jeff Hammerbacher（Cloudera首席科学家）曾在Quora上写过这样一段： ----------------------...