Centos 6.5 下Hadoop 1.2.1单节点环境的创建

安装以及配置Java JDK安装 #chmod 777 jre-6u31-linux-x64-rpm.bin #./jre-6u31-linux-x64-rpm.bin 添加java环境变量 #vim /etc/profile #最后添加 # set java environment export JAVA_HOME=/usr/java/jre1.6.0_31 export CLASSPATH=.:$JAVA_HOME/jre/lib/r...

使用SLB合并阿里云带宽 - 降低成本

阿里云的带宽屎贵屎贵的，尤其是5M以上，买10M带宽的成本，远高于购买2台5M的成本。所以，小夜想出一个办法，使用SLB来集成带宽，达到，买2台5M当1台10M来用，最大程度的节省一部分成本，如果你是公司运营、或不差钱的高富帅，可直接略过了 所谓的SLB（负载...

Hadoop-2.4.1学习之Mapper和Reducer

MapReduce允许程序员能够容易地编写并行运行在大规模集群上处理大量数据的程序，确保程序的运行稳定可靠和具有容错处理能力。程序员编写的运行在MapReduce上的应用程序称为作业（job），Hadoop既支持用Java编写的job，也支持其它语言编写的作业，比如Hadoop...

Hadoop-2.4.1学习之如何确定Mapper数量

MapReduce框架的优势是可以在集群中并行运行mapper和reducer任务，那如何确定mapper和reducer的数量呢，或者说Hadoop如何以编程的方式控制作业启动的mapper和reducer数量呢？在《Hadoop-2.4.1学习之Mapper和Reducer》中曾经提及建议reducer的数量为(0.95~1.7...

大型网站系统架构演化之路

作者：Memory 发布于：2014-9-28 8:29 Sunday 服务器 前言 一个成熟的大型网站（如淘宝、天猫、腾讯等）的系统架构并不是一开始设计时就具备完整的高性能、高可用、高伸缩等特性的，它是随着用户量的增加，业务功能的扩展逐渐演变完善的，在这个过程中，开发...

将云放入口袋中，第 2 部分: 订购和配置虚拟服务器

在这个 由两部分组成的教程系列 中，学习如何构建一个应用程序，以通过基于 HTML5、CSS 和 JavaScript/jQuery 的用户界面管理 SoftLayer 服务器。第 1 部分介绍了如何在移动设备上显示虚拟服务器的信息并管理它们。第 2 将部分介绍如何在移动设备上订购和配...

使用 Bluemix 缓存服务在云中构建缓存应用程序

注册使用 IBM Bluemix 这个云平台提供了许多免费的服务、运行时和基础架构，可以帮助您快速构建和部署下一个移动或 Web 应用程序。 作为开发人员，我们希望使用服务和运行时框架来构建、部署和管理快速云应用程序，但我们认识到，云本身的运行速度无法超过更...

使用 HAProxy, PHP, Redis 和 MySQL 轻松构建每周上亿请求Web站

本案例是由Antoni Orfin写的客座文章，他是Octivi的联合创始人和软件架构师。 在文章中，我将向您展示我们开发的基于HAProxy，PHP，Redis和MySQL的非常简单的架构的方法，它可以无缝地处理约每周十亿次的请求。文章中还列举了进一步扩展它的可能途径，并指出...

Hadoop添加删除节点

添加节点 1.修改host 和普通的datanode一样。添加namenode的ip 2.修改namenode的配置文件conf/slaves 添加新增节点的ip或host 3.在新节点的机器上，启动服务 [root@slave-004 hadoop] # ./bin/hadoop-daemon.sh start datanode [root@slave-004 hadoop] # ./...

HBase异常：java.io.IOException: Connection reset by peer

hbase 异常处理 2013-01-08 15:37:19,565 WARN org.apache.hadoop.ipc.HBaseServer: IPC Server listener on 60000: readAndProcess threw exception java.io.IOException: Connection reset by peer. Count of bytes read: 0java.io.IOException: Connectio...