hadoop三个配置文件的参数含义说明

1获取默认配置 配置hadoop，主要是配置core-site.xml,hdfs-site.xml,mapred-site.xml三个配置文件，默认下来，这些配置文件都是空的，所以很难知道这些配置文件有哪些配置可以生效，上网找的配置可能因为各个hadoop版本不同，导致无法生效。浏览更多的配置，...

Centos 6.3 Hadoop集群配置详解

环境:4台服务器 1 Master 3 Slave, 系统Centos 6.3，预先安装好JDK 1.7 和openssh(对相关安装配置过程有疑问或者困难的请google或者查阅笔者之前的blog)，且 关闭防火墙 ( 避免配置好后运行过程引起不必要的意外) 服务器清单如下 1 2 3 4 5 6 7 8 9 HostName...

大型网站架构系列：负载均衡详解（下）

一、软件负载均衡概述 硬件负载均衡性能优越，功能全面，但是价格昂贵，一般适合初期或者土豪级公司长期使用。因此软件负载均衡在互联网领域大量使用。常用的软件负载均衡软件有Nginx，Lvs，HaProxy等。 二、Ngnix负载均衡 Ngnix是一款轻量级的Web服务器/反...

大型网站架构系列：负载均衡详解（上）

面对大量用户访问、高并发请求，海量数据，可以使用高性能的服务器、大型数据库，存储设备，高性能Web服务器，采用高效率的编程语言比如(Go,Scala)等，当单机容量达到极限时，我们需要考虑业务拆分和分布式部署，来解决大型网站访问量大，并发量高，海量数据...

centos6.5配置hadoop+hive

1，下载hive #cd/usr/local/ #wget-chttp://mirror.esocc.com/apache/hive/hive-0.12.0/hive-0.12.0.tar.gz #tarzxvfhive-0.12.0.tar.gz #cd /usr/local/#wget -c http://mirror.esocc.com/apache/hive/hive-0.12.0/hive-0.12.0.tar.gz#tar zxvf hive-0.12.0...

centos 6.5搭建hadoop2.2.0

由于测试学习用，所以安装三个虚拟机： s1=192.198.56.101 s1=192.198.56.102 s1=192.198.56.103 s1=192.198.56.101s1=192.198.56.102s1=192.198.56.103 修改hosts文件： #vim /etc/hosts //加入最下面 192.168.56.101hadoop1 192.168.56.102hadoop2 192.168...

CentOS 6.5下Hadoop1.1.2环境搭建（单机版）

（1）我的电脑环境 CentOS6.5,32位，在虚拟机下实现。 注意：下面的操作我都是使用root权限进行！ （2）jdk1.6的安装 这里，我使用的jdk安装包如下，大家可以上网自行下载，这里推荐jdk为1.6为好，最好不要哦用1.7. 将jdk安装包移动到/usr/local这个目录下，...

hadoop2.6和hbase1.0单机版安装配置

环境 系统：Ubuntu 14.04 hadoop版本：2.6.0 hbase版本：1.0 jdk版本：1.8 下载地址：Apache上慢慢找吧~~ jdk的环境配置这里就不列出来了，首先讲一下hadoop配置吧。 hadoop安装 1.安装位置：/opt 2.创建hadoop用户组 sudo addgroup hadoop 3.创建hadoop用户...

Linux系统下使用HAProxy配置HTTP负载均衡系统的方法

如今对基于互联网的应用和服务的要求越来越大，这给广大的IT管理员施加了越来越大的压力。面对突如其来的流量猛增、自生的流量增加或者是内部挑战（比如硬件故障和紧急维护），不管怎样，你的互联网应用都必须保持随时可用。连现代化的开发运营和持续交付做...

Squid集群做CDN全网加速

主服务器群，然后在利用Squid逆向缓存web80端口来加速自己的网站.各大门户网站象163,sina,chinaitlab之类基本都是使用的这种技术，好处是大大的有。比如加速了网络和可以防黑客（因为他们见到的都是CDN的主机） 这是利用Squid逆向集群模式做的一种应用 网络环...