安装的Hive是Hive最新版本中的稳定版本，是基于Hadoop2.2.0，以前有写过，如何在hadoop1.x下面安装Hive0.8，本次Hive的版本是Hive0.13，可以直接在Hive官网上下载二进制包，无须进行源码编译。Hive需要依赖底层的Hadoop环境，所以在安装Hive前，请确保你的had...

网络上充斥着大量Hadoop1的教程，版本老旧，Hadoop2的中文资料相对较少，本教程的宗旨在于从Hadoop2出发，结合作者在实际工作中的经验，提供一套最新版本的Hadoop2相关教程。 为什么是Hadoop2.2.0，而不是Hadoop2.4.0 本文写作时，Hadoop的最新版本已经是2.4...

参数 取值 备注 fs.default.name NameNode 的URI。 hdfs://主机名/ dfs.hosts/dfs.hosts.exclude 许可/拒绝DataNode列表。 如有必要，用这个文件控制许可的datanode列表。 dfs.replication 默认： 3 数据复制的分数 dfs.name.dir 举例： /home/username/hado...

Hadoop环境配置以及安装过程： 1、Linux系统安装，以及网络的搭建 1.1 网络的选择为host-only模式 1.2 启动vmwave的虚拟网络配置器 1.3修改ip地址，将VMware网络配置器中的iP地址设置成192.168.80.1，在Linux中网络连接中将连接更改为manual（自定义），并设...

一、Listener Listener线程，当Server处于运行状态时，其负责监听来自客户端的连接，并使用Select模式处理Accept事件。 同时，它开启了一个空闲连接（Idle Connection）处理例程，如果有过期的空闲连接，就关闭。这个例程通过一个计时器来实现。 当select操...

本文旨在提供最基本的，可以用于在生产环境进行Hadoop、HDFS分布式环境的搭建，对自己是个总结和整理，也能方便新人学习使用。 基础环境 JDK的安装与配置 现在直接到Oracle官网（http://www.oracle.com/）寻找JDK7的安装包不太容易，因为现在官方推荐JDK8。...

做项目的时候遇到一个问题，在Mapper和Reducer方法中处理目标数据时，先要去检索和匹配一个已存在的标签库，再对所处理的字段打标签。因为标签库不是很大，没必要用HBase。我的实现方法是把标签库存储成HDFS上的文件，用分布式缓存存储，这样让每个slave都能...

前言 最近在学习Hadoop，文章只是记录我的学习过程，难免有不足甚至是错误之处，请大家谅解并指正！Hadoop版本是最新发布的Hadoop-0.21.0版本，其中一些Hadoop命令已发生变化，为方便以后学习，这里均采用最新命令。具体安装及配置过程如下： 1 机器配置说明...

年前，在老大的号召下，我们纠集了一帮人搞起了hadoop，并为其取了个响亮的口号云在手，跟我走。大家几乎从零开始，中途不知遇到多少问题，但终 于在回家之前搭起了一个拥有12台服务器的集群，并用命令行在该集群上运行了一些简单的mapreduce程序。想借此总...

Hadoop近几年一直很热门，市面上有各种各样的书籍以及培训机构，当你熟悉完这些准备在生产上运行自己的第一个生产Hadoop集群的时候，就需要考虑购买什么样的硬件了，专业人士肯定会说：这要看你的业务类型和负载了，当然这是很有道理的，但是我接触的很多企业...

启动hadoop的namenode时，报错： ERRORorg apache. Hadoop. HDFS. Server. The namenode. The namenode: Java. Lang. IllegalArgumentException: Does not contain a valid host: port authority: HDFS: / / hadoop_forged: 9000 原因分析： 一般都是配置文...

Hive 可以让你在 Hadoop 上使用 SQL，但是在分布式系统上优化 SQL 则有所不同。这里是让你可以轻松驾驭 Hive 的12个技巧。 Hive并不是关系型数据库（RDBMS），但是它大多数时候都表现得像是一个关系型数据库一样，它有表、可以运行 SQL、也支持 JDBC 和 ODBC...

50030 mapred.job.tracker.http.address 描述：JobTracker administrative web GUI JOBTRACKER的HTTP服务器和端口 50070 dfs.http.address 描述：NameNode administrative web GUI NAMENODE的HTTP服务器和端口 50010 dfs.datanode.address 描述：DataNode co...

错误1：bin/hadoop dfs 不能正常启动，持续提示： INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:9000. Already tried 0 time(s). 原因：由于 dfs 的部分文件默认保存在tmp文件夹，在系统重启时被删除。 解决：修改core-site.xml 的 had...

今早一来，突然发现使用-put命令往HDFS里传数据传不上去了，抱一大堆错误，然后我使用bin/hadoop dfsadmin -report查看系统状态 admin@adw1:/home/admin/joe.wangh/hadoop-0.19.2bin/hadoop dfsadmin -report Configured Capacity: 0 (0 KB) Present Capacit...

1Hadoop包总量（15个包） 15个包，分下面几类： （1）配置文件：这是一个多方共享的话，让每个人可以告诉群里每个人我想干啥，由控制者根据配置文件去找相应的实体指向。 （2）共用工具：基础功能的提供者 （3）通讯工具：大家是基于通讯进行工作的 （4）基...

1批量启动与停止 1.1Start-all.sh # Start all hadoop daemons. Run this on master node. bin=`dirname $0` bin=`cd $bin; pwd` #变量配置命令 . $bin/hadoop-config.sh #Dfs服务器启动 # start dfs daemons $bin/start-dfs.sh --config $HADOOP_CONF_DIR M...

1获取默认配置 配置hadoop，主要是配置core-site.xml,hdfs-site.xml,mapred-site.xml三个配置文件，默认下来，这些配置文件都是空的，所以很难知道这些配置文件有哪些配置可以生效，上网找的配置可能因为各个hadoop版本不同，导致无法生效。浏览更多的配置，...

环境:4台服务器 1 Master 3 Slave, 系统Centos 6.3，预先安装好JDK 1.7 和openssh(对相关安装配置过程有疑问或者困难的请google或者查阅笔者之前的blog)，且 关闭防火墙 ( 避免配置好后运行过程引起不必要的意外) 服务器清单如下 1 2 3 4 5 6 7 8 9 HostName...

1，下载hive #cd/usr/local/ #wget-chttp://mirror.esocc.com/apache/hive/hive-0.12.0/hive-0.12.0.tar.gz #tarzxvfhive-0.12.0.tar.gz #cd /usr/local/#wget -c http://mirror.esocc.com/apache/hive/hive-0.12.0/hive-0.12.0.tar.gz#tar zxvf hive-0.12.0...

由于测试学习用，所以安装三个虚拟机： s1=192.198.56.101 s1=192.198.56.102 s1=192.198.56.103 s1=192.198.56.101s1=192.198.56.102s1=192.198.56.103 修改hosts文件： #vim /etc/hosts //加入最下面 192.168.56.101hadoop1 192.168.56.102hadoop2 192.168...

（1）我的电脑环境 CentOS6.5,32位，在虚拟机下实现。 注意：下面的操作我都是使用root权限进行！ （2）jdk1.6的安装 这里，我使用的jdk安装包如下，大家可以上网自行下载，这里推荐jdk为1.6为好，最好不要哦用1.7. 将jdk安装包移动到/usr/local这个目录下，...

环境 系统：Ubuntu 14.04 hadoop版本：2.6.0 hbase版本：1.0 jdk版本：1.8 下载地址：Apache上慢慢找吧~~ jdk的环境配置这里就不列出来了，首先讲一下hadoop配置吧。 hadoop安装 1.安装位置：/opt 2.创建hadoop用户组 sudo addgroup hadoop 3.创建hadoop用户...

首先hadoop使用SSH来实现cluster中各个node间的登录认证。作为一个开源框架，hadoop当然也使用开源的OpenSSH啦~ SSH utilizes standard public key cryptography to create a pair of keys for user verificationone public, one private. The public key is...

网上虽然有很多类似的文章，但大部分都有部分细节讲清楚，导致本小哥装了好久才装上。 为此，遂起心想整理下一份尽可能清晰的安装步骤来，遂成此文。 ----------------------------------------------------------------------------------------------------...

最近一直在自学Hadoop，今天花点时间搭建一个开发环境，并整理成文。 首先要了解一下Hadoop的运行模式： 单机模式（standalone） 单机模式是Hadoop的默认模式。当首次解压Hadoop的源码包时，Hadoop无法了解硬件安装环境，便保守地选择了最小配置。在这种默认...

Hadoop是最近非常流行的东东啦，但是乍一看都觉得是集群的东东，其实在单机版上安装Hadoop也是可以的，并且安装好以后可以很方便的进行程序的调试，调试好程序以后再丢到集群中，放心的算吧，呵呵。。 本文说的是在ubuntu上hadoop的安装，其他的linux可以类...

引言 Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。...