Yelp 础设施团队的主要目标之一就是为了尽可能接近零停机时间。那也就是说当用户访问www.yelp.com 作出动作的时候,网站的响应速度必须尽可能的快。一种方法是使用 HAProxy 负载均衡能够保持 www.yelp.com 网站的响应速度。通常我们在任何地方都使用 HAProxy...
提到大数据分析平台,不得不说Hadoop系统,Hadoop到现在也超过10年的历史了,很多东西发生了变化,版本也从0.x 进化到目前的2.6版本。我把2012年后定义成后Hadoop平台时代,这不是说不用Hadoop,而是像NoSQL (Not Only SQL)那样,有其他的选型补充。我在知...
自学hadoop也有一段时间了。这里介绍一下hadoop实验环境的安装配置,给需要学习hadoop的朋友提供参考,也方便以后自己查阅。 这里只是梳理大概的步骤,细节的东西还需要自己多查资料。 1、准备工作 安装好VMware。并且在虚拟机上安装好一个linux系统。我的实...
在浅谈linux集群(http://www.linuxidc.com/Linux/2012-08/68094.htm)一文中介绍了集群的基本概念和LVS的基本概念,也说到LVS有三种模型,NAT,DR,TUN,三种,那么它们具体是怎么实现负载均衡的呢?此篇博客的目的就是详解三种模型的工作方式以及每一种模型的配置....
1、方案说明 目标是搭建企业级的高可用负载均衡集群服务。采用Keepalived + LVS + Tomcat + Memcache Session Manager + Memcached解决方案。其中: LVS:Linux Virtual Server是 Linux 虚拟服务器,可以把多台服务器虚拟为一个虚拟 IP ,同时实现各种负载均...
为什么现在用cluster(计算集群)都用linux? 为什么不用freebsd? 难道是像下面这篇文章说的? 哪种OS更适合高性能网络应用 摘要 本文通过实验测试对Linux、Solaris (for Intel)、FreeBSD和Windows 2000在运行高性 能网络应用程序方面的速度进行了比较。描述了如...
基于Linux集群系统的资源共享方案 这是高二暑假为了参加上海市Intel杯创新大赛而做的课题,原本是为了建立一个简单的集群模型然后研究一下负载均衡算法的,结果由于课业的压力,没能完成,结果就成了这副德性。这是初稿,不是最终的参赛论文,这样的文章当然...
BalanceNG 3.600 发布,此版本相比上一主版本主要改进如下: 添加了配置指令和功能 server N tcprefuse ,允许配置 IPv4 和 IPv6 的 TCP 连接拒绝 更新手册 此版本现已提供下载: BalanceNG-3.600-1.x86_64.rpm (1.1M) BalanceNG-3.600-OSX.pkg (2.0M) balan...
前言 本文主要讨论Redis集群相关技术及新发展,关于Redis运维等内容,以后另开主题讨论。 本文重点推荐Codis豌豆荚开源的Redis分布式中间件(该项目于4个月前在GitHub开源,目前star已超过2100)。其和Twemproxy相比,有诸多激动人心的新特性,并支持从Twemp...
Nginx/LVS/HAProxy是目前使用最广泛的三种负载均衡软件,本人都在多个项目中实施过,参考了一些资料,结合自己的一些使用经验,总结一下。 一般对负载均衡的使用是随着网站规模的提升根据不同的阶段来使用不同的技术。具体的应用需求还得具体分析,如果是中小...