centos6.5配置hadoop+hive

1，下载hive #cd/usr/local/ #wget-chttp://mirror.esocc.com/apache/hive/hive-0.12.0/hive-0.12.0.tar.gz #tarzxvfhive-0.12.0.tar.gz #cd /usr/local/#wget -c http://mirror.esocc.com/apache/hive/hive-0.12.0/hive-0.12.0.tar.gz#tar zxvf hive-0.12.0...

centos 6.5搭建hadoop2.2.0

由于测试学习用，所以安装三个虚拟机： s1=192.198.56.101 s1=192.198.56.102 s1=192.198.56.103 s1=192.198.56.101s1=192.198.56.102s1=192.198.56.103 修改hosts文件： #vim /etc/hosts //加入最下面 192.168.56.101hadoop1 192.168.56.102hadoop2 192.168...

CentOS 6.5下Hadoop1.1.2环境搭建（单机版）

（1）我的电脑环境 CentOS6.5,32位，在虚拟机下实现。 注意：下面的操作我都是使用root权限进行！ （2）jdk1.6的安装 这里，我使用的jdk安装包如下，大家可以上网自行下载，这里推荐jdk为1.6为好，最好不要哦用1.7. 将jdk安装包移动到/usr/local这个目录下，...

hadoop2.6和hbase1.0单机版安装配置

环境 系统：Ubuntu 14.04 hadoop版本：2.6.0 hbase版本：1.0 jdk版本：1.8 下载地址：Apache上慢慢找吧~~ jdk的环境配置这里就不列出来了，首先讲一下hadoop配置吧。 hadoop安装 1.安装位置：/opt 2.创建hadoop用户组 sudo addgroup hadoop 3.创建hadoop用户...

Hadoop中的SSH设置

首先hadoop使用SSH来实现cluster中各个node间的登录认证。作为一个开源框架，hadoop当然也使用开源的OpenSSH啦~ SSH utilizes standard public key cryptography to create a pair of keys for user verificationone public, one private. The public key is...

ubuntu 安装 hadoop（单机版）

网上虽然有很多类似的文章，但大部分都有部分细节讲清楚，导致本小哥装了好久才装上。 为此，遂起心想整理下一份尽可能清晰的安装步骤来，遂成此文。 ----------------------------------------------------------------------------------------------------...

Ubuntu上搭建Hadoop环境（单机模式+伪分布模式）

最近一直在自学Hadoop，今天花点时间搭建一个开发环境，并整理成文。 首先要了解一下Hadoop的运行模式： 单机模式（standalone） 单机模式是Hadoop的默认模式。当首次解压Hadoop的源码包时，Hadoop无法了解硬件安装环境，便保守地选择了最小配置。在这种默认...

Hadoop单机版安装，配置，运行

Hadoop是最近非常流行的东东啦，但是乍一看都觉得是集群的东东，其实在单机版上安装Hadoop也是可以的，并且安装好以后可以很方便的进行程序的调试，调试好程序以后再丢到集群中，放心的算吧，呵呵。。 本文说的是在ubuntu上hadoop的安装，其他的linux可以类...

Hadoop分布式文件系统：架构和设计

引言 Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。...

MapReduce应用

目录[-] 1、MapReduce实现矩阵相乘 2、MapReduce实现倒排索引 3、MapReduce实现复杂倒排索引 1、MapReduce实现矩阵相乘 一. 准备数据 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 #!/bin/bash if[$#-ne3] then echotheremustb...