从 secondarynamenode 中恢复 namenode

1.修改conf/core-site.xml,增加 Xml代码 property namefs.checkpoint.period/name value3600/value descriptionThenumberofsecondsbetweentwoperiodiccheckpoints./description /property property namefs.checkpoint.size/name value67108864/value descrip...

使用hadoop进行大规模数据的全局排序

1. Hellow hadoop~~! Hadoop（某人儿子的一只虚拟大象的名字）是一个复杂到极致，又简单到极致的东西。 说它复杂，是因为一个hadoop集群往往有几十台甚至成百上千台low cost的计算机组成，你运行的每一个任务都要在这些计算机上做任务的分发，执行中间数据排...

MapReduce: 详解 Shuffle 过程

Shuffle过程是MapReduce的核心，也被称为奇迹发生的地方。要想理解MapReduce， Shuffle是必须要了解的。我看过很多相关的资料，但每次看完都云里雾里的绕着，很难理清大致的逻辑，反而越搅越混。前段时间在做MapReduce job 性能调优的工作，需要深入代码研究...

深入理解Hadoop集群和网络

摘要：本文将着重于讨论Hadoop集群的体系结构和方法，及它如何涉及到网络和服务器基础设施。开始我们先学习一下Hadoop集群运作的基...

hadoop集群增加/删除节点

hadoop要发到每个节点的配置文件，只有core-site.xml mapred-site.xml hdfs-site.xml 添加节点 1.修改host 和普通的datanode一样。添加namenode的ip 2.修改namenode的配置文件conf/slaves 添加新增节点的ip或host 3.在新节点的机器上，启动服务 [root@slave-...

hadoop HDFS详解

一、HDFS的基本概念 1.1、数据块(block) HDFS(Hadoop Distributed File System)默认的最基本的存储单位是64M的数据块。 和普通文件系统相同的是，HDFS中的文件是被分成64M一块的数据块存储的。 不同于普通文件系统的是，HDFS中，如果一个文件小于一个数据块的...

Linux下MemCached安装及c#客户端调用

一、Linux下MemCached安装和启动 如果是centos可以yum安装 # yum install libevent-devel 如果不支持yum的系统，可以这样装libevent # cd /usr/local/src # wget http://www.monkey.org/~provos/libevent-1.4.12-stable.tar.gz # tar vxf libevent-1.4.12-st...

Nginx+Keepalived实现站点高可用

公司内部 OA 系统要做线上高可用，避免单点故障，所以计划使用2台虚拟机通过 Keepalived 工具来实现 nginx 的高可用（High Avaiability），达到一台nginx入口服务器宕机，另一台备机自动接管服务的效果。（nginx做反向代理，实现后端应用服务器的负载均衡）...

Nginx+Tomcat+Session 高性能群集搭建（测试通过）

做了一个nginx+tomcate+Session 的负载均衡的tomcat集群，tomcat是用的6.0， nginx 用的是nginx-1.1.11。测试的目的是看看访问的压力分布和session共享。先看看测试效果。 我在nginx中的nginx.conf中配置的访问权重。是 upstream127.0.0.1{ #weigth参数表示...

Linux下Memcached服务器部署

操作系统：CentOS 6.x 64位 实现目的：安装部署Memcached服务器 一、防火墙设置 vi /etc/sysconfig/iptables#编辑防火墙配置文件，添加下面代码 -A INPUT -m state --state NEW -m tcp -p tcp --dport 11211 -j ACCEPT :wq!#保存退出 service iptables resta...