hadoop0.19.0版的包和类的分析

1Hadoop包总量（15个包） 15个包，分下面几类： （1）配置文件：这是一个多方共享的话，让每个人可以告诉群里每个人我想干啥，由控制者根据配置文件去找相应的实体指向。 （2）共用工具：基础功能的提供者 （3）通讯工具：大家是基于通讯进行工作的 （4）基...

hadoop启动停止命令分析

1批量启动与停止 1.1Start-all.sh # Start all hadoop daemons. Run this on master node. bin=`dirname $0` bin=`cd $bin; pwd` #变量配置命令 . $bin/hadoop-config.sh #Dfs服务器启动 # start dfs daemons $bin/start-dfs.sh --config $HADOOP_CONF_DIR M...

hadoop三个配置文件的参数含义说明

1获取默认配置 配置hadoop，主要是配置core-site.xml,hdfs-site.xml,mapred-site.xml三个配置文件，默认下来，这些配置文件都是空的，所以很难知道这些配置文件有哪些配置可以生效，上网找的配置可能因为各个hadoop版本不同，导致无法生效。浏览更多的配置，...

Centos 6.3 Hadoop集群配置详解

环境:4台服务器 1 Master 3 Slave, 系统Centos 6.3，预先安装好JDK 1.7 和openssh(对相关安装配置过程有疑问或者困难的请google或者查阅笔者之前的blog)，且 关闭防火墙 ( 避免配置好后运行过程引起不必要的意外) 服务器清单如下 1 2 3 4 5 6 7 8 9 HostName...

大型网站架构系列：负载均衡详解（下）

一、软件负载均衡概述 硬件负载均衡性能优越，功能全面，但是价格昂贵，一般适合初期或者土豪级公司长期使用。因此软件负载均衡在互联网领域大量使用。常用的软件负载均衡软件有Nginx，Lvs，HaProxy等。 二、Ngnix负载均衡 Ngnix是一款轻量级的Web服务器/反...

大型网站架构系列：负载均衡详解（上）

面对大量用户访问、高并发请求，海量数据，可以使用高性能的服务器、大型数据库，存储设备，高性能Web服务器，采用高效率的编程语言比如(Go,Scala)等，当单机容量达到极限时，我们需要考虑业务拆分和分布式部署，来解决大型网站访问量大，并发量高，海量数据...

centos6.5配置hadoop+hive

1，下载hive #cd/usr/local/ #wget-chttp://mirror.esocc.com/apache/hive/hive-0.12.0/hive-0.12.0.tar.gz #tarzxvfhive-0.12.0.tar.gz #cd /usr/local/#wget -c http://mirror.esocc.com/apache/hive/hive-0.12.0/hive-0.12.0.tar.gz#tar zxvf hive-0.12.0...

centos 6.5搭建hadoop2.2.0

由于测试学习用，所以安装三个虚拟机： s1=192.198.56.101 s1=192.198.56.102 s1=192.198.56.103 s1=192.198.56.101s1=192.198.56.102s1=192.198.56.103 修改hosts文件： #vim /etc/hosts //加入最下面 192.168.56.101hadoop1 192.168.56.102hadoop2 192.168...

CentOS 6.5下Hadoop1.1.2环境搭建（单机版）

（1）我的电脑环境 CentOS6.5,32位，在虚拟机下实现。 注意：下面的操作我都是使用root权限进行！ （2）jdk1.6的安装 这里，我使用的jdk安装包如下，大家可以上网自行下载，这里推荐jdk为1.6为好，最好不要哦用1.7. 将jdk安装包移动到/usr/local这个目录下，...

hadoop2.6和hbase1.0单机版安装配置

环境 系统：Ubuntu 14.04 hadoop版本：2.6.0 hbase版本：1.0 jdk版本：1.8 下载地址：Apache上慢慢找吧~~ jdk的环境配置这里就不列出来了，首先讲一下hadoop配置吧。 hadoop安装 1.安装位置：/opt 2.创建hadoop用户组 sudo addgroup hadoop 3.创建hadoop用户...