Hadoop 2.2.0安装及配置

Pre-installation 保证所有主机上已经安装JDK 1.6+和ssh。 添加主机名到/etc/hosts 修改/etc/hosts 1 sudo vi /etc/hosts 添加 1 2 192.168.56.101 zhenlong-master 192.168.56.102 zhenlong-slave1 配置无密码的ssh连接 在所有主机上生成ssh的公钥和私钥 1...

全面讲述linux集群负载均衡

学习linux时，你可能会遇到linux集群的问题，这里将介绍linux集群负载均衡的方法，经过仔细整理，在这里拿出来和大家分享一下，希望本文能教会你更多东西。 集群原理 linux集群系统包括集群节点和集群管理器两部分。集群节点有时简称为节点、服务器或服务器...

Centos 6.5 下Hadoop 1.2.1单节点环境的创建

安装以及配置Java JDK安装 #chmod 777 jre-6u31-linux-x64-rpm.bin #./jre-6u31-linux-x64-rpm.bin 添加java环境变量 #vim /etc/profile #最后添加 # set java environment export JAVA_HOME=/usr/java/jre1.6.0_31 export CLASSPATH=.:$JAVA_HOME/jre/lib/r...

使用SLB合并阿里云带宽 - 降低成本

阿里云的带宽屎贵屎贵的，尤其是5M以上，买10M带宽的成本，远高于购买2台5M的成本。所以，小夜想出一个办法，使用SLB来集成带宽，达到，买2台5M当1台10M来用，最大程度的节省一部分成本，如果你是公司运营、或不差钱的高富帅，可直接略过了 所谓的SLB（负载...

Hadoop-2.4.1学习之Mapper和Reducer

MapReduce允许程序员能够容易地编写并行运行在大规模集群上处理大量数据的程序，确保程序的运行稳定可靠和具有容错处理能力。程序员编写的运行在MapReduce上的应用程序称为作业（job），Hadoop既支持用Java编写的job，也支持其它语言编写的作业，比如Hadoop...

Hadoop-2.4.1学习之如何确定Mapper数量

MapReduce框架的优势是可以在集群中并行运行mapper和reducer任务，那如何确定mapper和reducer的数量呢，或者说Hadoop如何以编程的方式控制作业启动的mapper和reducer数量呢？在《Hadoop-2.4.1学习之Mapper和Reducer》中曾经提及建议reducer的数量为(0.95~1.7...

大型网站系统架构演化之路

作者：Memory 发布于：2014-9-28 8:29 Sunday 服务器 前言 一个成熟的大型网站（如淘宝、天猫、腾讯等）的系统架构并不是一开始设计时就具备完整的高性能、高可用、高伸缩等特性的，它是随着用户量的增加，业务功能的扩展逐渐演变完善的，在这个过程中，开发...

将云放入口袋中，第 2 部分: 订购和配置虚拟服务器

在这个 由两部分组成的教程系列 中，学习如何构建一个应用程序，以通过基于 HTML5、CSS 和 JavaScript/jQuery 的用户界面管理 SoftLayer 服务器。第 1 部分介绍了如何在移动设备上显示虚拟服务器的信息并管理它们。第 2 将部分介绍如何在移动设备上订购和配...

使用 Bluemix 缓存服务在云中构建缓存应用程序

注册使用 IBM Bluemix 这个云平台提供了许多免费的服务、运行时和基础架构，可以帮助您快速构建和部署下一个移动或 Web 应用程序。 作为开发人员，我们希望使用服务和运行时框架来构建、部署和管理快速云应用程序，但我们认识到，云本身的运行速度无法超过更...

使用 HAProxy, PHP, Redis 和 MySQL 轻松构建每周上亿请求Web站

本案例是由Antoni Orfin写的客座文章，他是Octivi的联合创始人和软件架构师。 在文章中，我将向您展示我们开发的基于HAProxy，PHP，Redis和MySQL的非常简单的架构的方法，它可以无缝地处理约每周十亿次的请求。文章中还列举了进一步扩展它的可能途径，并指出...