Hadoop-2.4.1学习之如何确定Mapper数量

MapReduce框架的优势是可以在集群中并行运行mapper和reducer任务，那如何确定mapper和reducer的数量呢，或者说Hadoop如何以编程的方式控制作业启动的mapper和reducer数量呢？在《Hadoop-2.4.1学习之Mapper和Reducer》中曾经提及建议reducer的数量为(0.95~1.7...

大型网站系统架构演化之路

作者：Memory 发布于：2014-9-28 8:29 Sunday 服务器 前言 一个成熟的大型网站（如淘宝、天猫、腾讯等）的系统架构并不是一开始设计时就具备完整的高性能、高可用、高伸缩等特性的，它是随着用户量的增加，业务功能的扩展逐渐演变完善的，在这个过程中，开发...

将云放入口袋中，第 2 部分: 订购和配置虚拟服务器

在这个 由两部分组成的教程系列 中，学习如何构建一个应用程序，以通过基于 HTML5、CSS 和 JavaScript/jQuery 的用户界面管理 SoftLayer 服务器。第 1 部分介绍了如何在移动设备上显示虚拟服务器的信息并管理它们。第 2 将部分介绍如何在移动设备上订购和配...

使用 Bluemix 缓存服务在云中构建缓存应用程序

注册使用 IBM Bluemix 这个云平台提供了许多免费的服务、运行时和基础架构，可以帮助您快速构建和部署下一个移动或 Web 应用程序。 作为开发人员，我们希望使用服务和运行时框架来构建、部署和管理快速云应用程序，但我们认识到，云本身的运行速度无法超过更...

使用 HAProxy, PHP, Redis 和 MySQL 轻松构建每周上亿请求Web站

本案例是由Antoni Orfin写的客座文章，他是Octivi的联合创始人和软件架构师。 在文章中，我将向您展示我们开发的基于HAProxy，PHP，Redis和MySQL的非常简单的架构的方法，它可以无缝地处理约每周十亿次的请求。文章中还列举了进一步扩展它的可能途径，并指出...

Hadoop添加删除节点

添加节点 1.修改host 和普通的datanode一样。添加namenode的ip 2.修改namenode的配置文件conf/slaves 添加新增节点的ip或host 3.在新节点的机器上，启动服务 [root@slave-004 hadoop] # ./bin/hadoop-daemon.sh start datanode [root@slave-004 hadoop] # ./...

HBase异常：java.io.IOException: Connection reset by peer

hbase 异常处理 2013-01-08 15:37:19,565 WARN org.apache.hadoop.ipc.HBaseServer: IPC Server listener on 60000: readAndProcess threw exception java.io.IOException: Connection reset by peer. Count of bytes read: 0java.io.IOException: Connectio...

hadoop完全分布式安装

hadoop安装包：hadoop0.20.205.0.tar.gz 操作系统： fedora14 jdk版本： jdk1.6.0_31 一、安装过程 对于hadoop ,不同的系统会有不同的节点划分方式。在HDFS看来，节点分为Namenode和Datanode，其中Namenode只有一个，datanode可以有多个；在MapReduce看来，...

Hadoop实战之Hadoop完全分布式集群安装

要想深入的学习Hadoop数据分析技术，首要的任务是必须要将hadoop集群环境搭建起来，可以将hadoop简化地想象成一个小软件，通过在各个物理节点上安装这个小软件，然后将其运行起来，就是一个hadoop分布式集群了。 说来简单，但是应该怎么做呢？不急，本文的主...

Nginx负载均衡配置入门教程

Nginx负载均衡配置入门教程 nginx负载均衡配置： www.it.net.cn和 linux.it.net.cn域名均指向 Nginx 所在的服务器IP。 用户访问http://www.it.net.cn，将其负载均衡到192.168.1.2:80、192.168.1.3:80、192.168.1.4:80、192.168.1.5:80四台服务器。 用户访问h...