千万级的门户网站架构Nginx+Apache+MySQL+PHP+Memcached+Squid架构 服务器的大用户量的承载方案 一、前言 二、编译安装 三、 安装MySQL、memcache 四、 安装Apache、PHP、eAccelerator、php-memcache 五、 安装Squid 六、后记 一、前言，准备工作 当前，LAMP...

你的计算机上是否存在有至关重要的数据，并且不希望它们落入恶人之手呢？当然，它们完全有这种可能 。而且，近些年来，服务器遭受的风险也比以前更大了。越来越多的病毒，心怀不轨的黑客，以及那些商业间谍都将服务器作为了自己的目标。很显然，服务器的安全...

测试机共3台，IP为: 10.10.222.45 调度器 漂移IP为10.10.222.99 10.10.222.46 REALSERVER 10.10.222.47 REALSERVER 其中，10.10.222.45作为LVS的调度器 46与47作为后台真实的web服务器. 在10.10.222.45上面安装 ipvsadm程序。此程序通过rpm包安装即可 在10.1...

master: global_defs { router_id LVS_DEVEL } vrrp_instance VI_1 { state BACKUP interface eth0 virtual_router_id 33 priority 100 nopreempt advert_int 1 authentication { auth_type PASS auth_pass 1111 } virtual_ipaddress { 外网IP dev eth1 } no...

LVS与Keepalived DR模式 实现高性能高可用负载均衡 一、LVS+Keepalived 介绍 LVS LVS是Linux Virtual Server的简写，意即Linux虚拟服务器，是一个虚拟的服务器集群系统。本项目在1998年5月由章文嵩博士成立，是中国国内最早出现的自由软件项目之一。目前有三...

这里为大家介绍有关集群及高可用的相关知识，并非深厚难懂的理论知识，只是对一些集群与高可用的内容作个普通，供初学者参考。 面对现在的信息化时代，信息资源的暴涨为终端客户带来了极大的方便：消息资源的获得、网上购物、娱乐等等。可想象一下，如果网络...

基本架构：网站是由多台Squid服务器做集群组成，客户端口访问网站的过程是：客户端向Web站点发出请求，请求某一URL资源； 如何测试网站集群节点的页面访问是否正常，感兴趣的朋友可以参考下。 场景之一： 基本架构： 网站是由多台Squid服务器做集群组成，客户...

使用 keepalived 实现前端HA双机热备，供大家学习参考。 具体的配置步骤如下： 代码如下: # tar zxvf keepalived-1.1.19.tar.gz # cd keepalived-1.1.19 # ./configure --prefix=/opt/app/keepalived # make # make install # cp /opt/app/keepalived/sbin/k...

heartbeat是开源的HA软件，很多公司使用heartbeat来做双机，熟悉heartbeat的启动，可以方便我们使用HA的时候帮助我们对启动问题的定位和分析。 我们使用的heartbeat版本为3.0，运行系统为Redhat Enterprise 5.3。 一般我们启用heartbeat，使用service heartb...

Haproxy的优点: 它的优点正好可以补充nginx的缺点。 支持session保持，同时支持通过获取指定的url来检测后端服务器的状态。 支持tcp模式的负载均衡。比如可以给mysql的从服务器集群和邮件服务器做负载均衡。 缺点： 不支持虚拟主机(这个很傻啊) 目前没有nagi...

SLB是Server Load Balance（负载均衡）的简称，是对多台云服务器进行流量分发的负载均衡服务。SLB可以通过流量分发扩展应用系统对外的服务能力，通过消除单点故障提升应用系统的可用性。 SLB核心概念 SLB服务主要由3个基本概念组成。其中：LoadBalancer代表...

环境：系统CentOS6.364位*2Master10.10.55.112Slave110.10.55.133软件：Hadoop-2.5.1-src.tar.gz 一、准备环境 1.1分别设置节点ip地址（固定）此步骤所有节点都要操作 vi/etc/sysconfig/network-scripts/ifcfgeth0 1.2修改节点主机名此步骤所有节点都要操作...

要使用LVM，需要先了解几个参数的意义。 PV:Physical Volume 实体滚动条 VG:Volume Group 滚动条群组 LVM大磁盘是许多PV整合成VG，VG最多能包含65534个PE。 PE:Physical Extend 实体延伸区 LVM默认使用4MB的PE区块，PE是整个LVM最小的储存区块，简单说PE有点...

一、编译环境 [plain]view plaincopy Centos6.5(64bit) jdk7 ant1.9.4 maven3.1.1 findbugs3.0.0 protobuf2.5.0 hadoop2.5.1源代码文件 二、安装以上所需的所有软件 1.yum可安装的软件 [html]view plaincopy yuminstallsvnncurses-develgcc*lzo-develzlib-de...

Keepalived是一个基于VRRP协议来实现的WEB服务高可用方案，可以利用其来避免单点故障。使用多台节点安装keepalived。其他的节点用来提供真实的服务，同样的，他们对外表现一个虚拟的IP。主服务器宕机的时候，备份服务器就会接管虚拟IP，继续提供服务，从而保...

今天来说说编译hadoop源码的事情吧~ 1、首先下载源码 地址： http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.4.0/ 2、加压tar包到指定文件夹 ：/home/hadoop/soft/hadoop view sourceprint? 1. tar zxvf hadoop- 2.4 . 0 -src.tar.gz 3、Linux编译...

越来越多人开始接触Linux操作系统，从VPS到无线路由的刷机系统(如OpenWRT、Tomato)，同时也必不可少地会在各式各样的探针和系统监测界面上看到系统平均负载或者Load Average这样的字眼，但是它并不像我们习惯中Windows、Mac操作系统提供百分比显示CPU、内存...

高可用性（HA）集群通过一组计算机系统提供透明的冗余处理能力，从而实现不间断应用的目标。 高可用性（High Availability，简称HA）集群是共同为客户机提供网络资源的一组计算机系统。其中每一台提供服务的计算机称为节点(Node)。当一个节点不可用或者不能...

我们来看下，如何在Centos6.5下，部署完全分布式集群。 下面先来看下具体的系统环境 序号 名称 描述 1 系统环境Centos6.5 最好在linux上部署 2 Hadoop版本Hadoop2.2.0 Hadoop2.x中的第一个稳定版本 3 JAVA环境JDK1.7 64位(build 1.7.0_25-b15) 部署情况 序号...

# 节点分布情况 LVS-dr-master eth0: 192.168.146.141 LVS-dr-slave eth0:192.168.146.142 nginx1: eth0:192.168.146.139 nginx2: eth0:192.168.146.140 tomcat1: eth0:192.168.146.138启用了4个tomcat VIP: 192.168.146.200 # 拓扑如下所示 # 具体配置 ###...

前言：对于一个站点来说，查询静态页面的量显然多与动态页面的量，所以我们以配置两个web服务器，一个mysql服务器来组成简单的负载均衡站点，当然这显然还是不够的，因为php解析服务也与web服务在一起，不过由于php与web的分离还有些难度，暂时先不考虑，下...

介绍：Hadoop本身提供了很多监控工具的接口，如JMX、Nagios、Ganglia等。使用Ganglia监控hadoop，配置起来非常简单，只需要修改$HADOOP_HOME/conf/hadoop-metrics.properties文件，把相关的配置段修改为下面的示例： 复制代码 代码如下: # Configuration of...

之前安装hadoop集群时，使用了root账号，后来发现有一些安全隐患，于是就把线上的集群统一配置到了hadoop账号下。 以下是具体操作步骤： １：创建hadoop账号 复制代码 代码如下: useradd hadoop ２：ssh无密码登陆 复制代码 代码如下: su hadoop ssh-keygen...

运行hadoop程序时，有时会报如下的错误： org.apache.hadoop.dfs.SafeModeException: Cannot delete /user/hadoop/input. Name node is in safe mode 这个错误应该很常见的吧。 错误分析，从字面上来理解： Name node is in safe mode 说明Hadoop的NameNode...

1、下载hadoop包 wget http://apache.freelamp.com/hadoop/core/stable/hadoop-0.20.2.tar.gz 2、tar xvzf hadoop-0.20.2.tar.gz 3、安装JDK，从oracle网站上直接下载JDK，地址：http://www.oracle.com/technetwork/java/javase/downloads/index.html 4、chm...

学习hadoop过程中用到的一些命令，这里作个记录，以备后阅。 1、ubuntu12 下如何打开终端：CTRL+ALT+t 2、ubuntu12 下查看JAVA_HOME环境变量:echo $JAVA_HOME 3、解压压缩文件：tar -xzvf hadoop-1.0.1.tar.gz 4、文件编辑命令：sudo gedit hadoop_env.sh 5...

hadoop使用过程中出现了很多错误，例如，执行bin/stop-all.sh的时候发现no datanode .... 解决方法： 配置完hadoop，执行bin/hadoop namenode -format 之后还需要执行 bin/hadoop datanode -format 。...

Hadoop的InputFormat类 本节介绍下org.apache.hadoop.mapreduce.InputFormat这个抽象类。 关于此抽象类的功能描述： 1、首先为Job验证输入； 2、将输入的文件分成逻辑上的splits，每个split会被应用到一个单独的mapper上； 3、提供RecorderReader的实现，用...