Nginx负载均衡（主备）+Keepalived

Nginx负载均衡器的优点: 实现看弹性化操作的架构，压力增大的时候可以临时添加后端Web服务器； upstream具有负载均衡能力 (默认使用轮询) ，可以自动判断下面的机器，并且自动踢出不能正常提供服务的机器； Keepalvied加Nginx监测脚本可保证单个nginx负载均...

corosync+pacemaker+drbd+mysql 实现mysql的高可用

拓扑如下：但是主从没有做配置，只做了主mysql的高可用 node1: 心跳：172.16.0.11 drbd：10.1.1.11 固定：192.168.1.166 node2： 心跳：172.16.0.12 drbd：10.1.1.12 固定：192.168.1.167 VIP：192.168.1.161 mysql：5.5.35 linux：centos 6.4（64bit） 前提...

Hadoop缺省端口列表

50030 mapred.job.tracker.http.address 描述：JobTracker administrative web GUI JOBTRACKER的HTTP服务器和端口 50070 dfs.http.address 描述：NameNode administrative web GUI NAMENODE的HTTP服务器和端口 50010 dfs.datanode.address 描述：DataNode co...

HADOOP常见错误

错误1：bin/hadoop dfs 不能正常启动，持续提示： INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:9000. Already tried 0 time(s). 原因：由于 dfs 的部分文件默认保存在tmp文件夹，在系统重启时被删除。 解决：修改core-site.xml 的 had...

HADOOP报错Incompatible namespaceIDs

今早一来，突然发现使用-put命令往HDFS里传数据传不上去了，抱一大堆错误，然后我使用bin/hadoop dfsadmin -report查看系统状态 admin@adw1:/home/admin/joe.wangh/hadoop-0.19.2bin/hadoop dfsadmin -report Configured Capacity: 0 (0 KB) Present Capacit...

hadoop0.19.0版的包和类的分析

1Hadoop包总量（15个包） 15个包，分下面几类： （1）配置文件：这是一个多方共享的话，让每个人可以告诉群里每个人我想干啥，由控制者根据配置文件去找相应的实体指向。 （2）共用工具：基础功能的提供者 （3）通讯工具：大家是基于通讯进行工作的 （4）基...

hadoop启动停止命令分析

1批量启动与停止 1.1Start-all.sh # Start all hadoop daemons. Run this on master node. bin=`dirname $0` bin=`cd $bin; pwd` #变量配置命令 . $bin/hadoop-config.sh #Dfs服务器启动 # start dfs daemons $bin/start-dfs.sh --config $HADOOP_CONF_DIR M...

hadoop三个配置文件的参数含义说明

1获取默认配置 配置hadoop，主要是配置core-site.xml,hdfs-site.xml,mapred-site.xml三个配置文件，默认下来，这些配置文件都是空的，所以很难知道这些配置文件有哪些配置可以生效，上网找的配置可能因为各个hadoop版本不同，导致无法生效。浏览更多的配置，...

Centos 6.3 Hadoop集群配置详解

环境:4台服务器 1 Master 3 Slave, 系统Centos 6.3，预先安装好JDK 1.7 和openssh(对相关安装配置过程有疑问或者困难的请google或者查阅笔者之前的blog)，且 关闭防火墙 ( 避免配置好后运行过程引起不必要的意外) 服务器清单如下 1 2 3 4 5 6 7 8 9 HostName...

大型网站架构系列：负载均衡详解（下）

一、软件负载均衡概述 硬件负载均衡性能优越，功能全面，但是价格昂贵，一般适合初期或者土豪级公司长期使用。因此软件负载均衡在互联网领域大量使用。常用的软件负载均衡软件有Nginx，Lvs，HaProxy等。 二、Ngnix负载均衡 Ngnix是一款轻量级的Web服务器/反...