在Hadoop中，键默认的排序处理方法是这样的： 从一个流中读键类型的实例，使用键类型的readFields()方法来解析字节流，然后对这两个对象调用compareTo()方法。 其实，还可以实现更快的排序，可以只通过检视字节流而不用解析出包含在其中的数据来判断这两个ke...

本节主要内容： Hadoop_Configuration配置 刚接触Hadoop的API的朋友，首先接触的可能是Configuration这个类，很多的其它方法都需要这个Configuration对象作为参数传入。 其中最重要的莫过于它将用户对Hadoop所做的配置全部记录下来了。 以下是我通过调用Conf...

问题描述：从Hadoop文件系统中读取文件，最简方法为：使用java.net.URL 对象打开数据流，进而从中读取数据。 例如： 复制代码 代码示例: InputStream in = null; try{ in = new URL(hdfs://host/path).openStream(); }finally{ IOUtils.closeStream(in); }...

LB负载均衡的目的是为了提高访问的并发性和服务器的性能。实现 LB 的方式主要有软件方式和硬件方式。软件方式实现的软件有LVS工作于传输层、nginx工作于应用层haproxy工作于传输层和应用层硬件方式实现的软件有 BIG-IPF5,A10A10等。这里主要介绍软件方式实现...

当把一台服务器（包括Web服务器、FTP服务器或者流媒体服务器等等）放入网络中之后，随着客户端数量的不断增加，人们往往需要功能更强大、处理速度更快的服务器。为了解决这个问题，如果将原有的服务器替换成功能更强大、处理速度更快的服务器显然并不是值得...

# 节点分布情况 LVS-dr-master eth0: 192.168.146.141 LVS-dr-slave eth0:192.168.146.142 nginx1: eth0:192.168.146.139 nginx2: eth0:192.168.146.140 tomcat1: eth0:192.168.146.138启用了4个tomcat VIP: 192.168.146.200 # 拓扑如下所示 # 具体配置 ###...

在Centos中，进行配置jdk的环境，这个还是折腾了我听挺久的。特别是在一次配置中，导致后来我的root用户无法登录，并且用其他普通用户登录，使用su - root切换到root用户，都无法使用ls这一些普通的命令。由于没有权限，各种更改，都没辙。各种麻烦...

linux下搭建hadoop环境步骤 1、下载hadoop包 wget http://apache.freelamp.com/hadoop/core/stable/hadoop-0.20.2.tar.gz 2、tar xvzf hadoop-0.20.2.tar.gz 3、安装JDK，从oracle网站上直接下载JDK，地址：http://www.oracle.com/technetwork/java/javase/do...

Hadoop原本来自于谷歌一款名为MapReduce的编程模型包。谷歌的MapReduce框架可以把一个应用程序分解为许多并行计算指令，跨大量的计算节点运行非常巨大的数据集。使用该框架的一个典型例子就是在网络数据上运行的搜索算法。 一、我缘何选择CentOS7.0 14年7月7...

一、 Apache、Tomcat集群和负载均衡所需资源软件(附下载地址)： a) apache_2.0.55-win32-x86-no_ssl.msi; b) apache-tomcat-5.5.17.rar c) mod_jk-apache-2.0.55.so 如下图所示：附下载地址： http://download.csdn.net/detail/crazyiter_com/4178657 二、 A...

nginx不单可以作为强大的web服务器，也可以作为一个七层的反向代理服务器，而且nginx还可以按照调度规则实现动态、静态页面的分离，可以按照轮询、ip哈希、URL哈希、权重等多种方式对后端服务器做负载均衡，同时还支持后端服务器的健康检查。 如 果将web服务...

实验环境：四台虚拟机，安装的操作系统是CentOS6.5,各自的功能及IP地址如下： Director: eth0 192.168.2.1(作为VIP使用），eth1:10.0.0.1（作为DIP使用） RS1: eth0:10.0.0.2 RS2: eth0:10.0.0.3 数据库服务器：安装的mariadb eth0:10.0.0.4 拓扑图： 实验步...

本文对目前数种分布式文件系统进行简单的介绍。当前比较流行的分布式文件系统包括：Lustre、Hadoop、MogileFS、FreeNAS、FastDFS、NFS、OpenAFS、MooseFS、pNFS、以及GoogleFS。 Lustre（www.lustre.org） lustre是一个大规模的、安全可靠的，具备高可用性的...

1、开发配置环境： 开发环境：Win7（64bit）+Eclipse（kepler service release 2） 配置环境：Ubuntu Server 14.04.1 LTS（64-bit only） 辅助工具：WinSCP + Putty Hadoop版本：2.5.0 Hadoop的Eclipse开发插件（2.x版本适用）：http://pan.baidu.com/s/1eQy...

国家信息化测评中心曾指出：ITSM是IT效能管理。是一种提高IT管理效能的工具。从通俗意义上说，ITSM就是一个把企业规范的运作体系利用IT系统进行流程化管理的一种标准体系。ITSM标准涵盖内容众多，从早期的IT基础设施，到应用服务，再到现在的业务服务管理。...

在信息化建设不断演进和成熟的进程中，企业用户的业务也日益丰富，逐渐对IT系统建设、管理和维护提出新的考验，最直接的问题当属IT系统与业务运行如何相融，为企业发展提供更大助力。由此，能够帮助用户实现IT与业务的融合的BSM（Business Service Managemen...

6月25日，接受了媒体关于IT运维管理专题和采访，我建议把这次采访内容的主题定为实施IT运维管理 循序渐进。 为什么这么说， 可以根据针对企业IT管理的一项调查中看到：企业在IT运营过程中遇到的问题，80%是由管理导致的。对企业IT部门出现的问题通过管理的手...

最近有个比较火的英剧叫《 IT 狂人》，其中比较搞笑的桥段是主角之一每次接到电脑故障问询电话时，首先就会问：你重启过电脑吗？ 电脑故障后重启应该是大多数人都经历过的解决办法，但对于 IT 大虾们，一上来就重启，是让他们多么嗤之以鼻的一件事，于是各种...

对于IT运维人员到底应该属于技术人还是管理人，别说其他部门，可能连运维人员自己有时候也难以界定。 如果你现在是在一个只有十几人规模，一两台服务器、交换机的公司任职，IT部也许只有你一个人，那可能真的涉及不到什么管理问题。公司大概也只需要你利用自...

年底将至，大部分人都面临一个课题：年终总结。 总结这事，说易也难。如果只是单纯地罗列一下这一年自己都干了点什么工作，相信这难不倒大家，但要用一份总结不仅表明这一年做了哪些工作，还要说清楚工作成效，甚至为明年的工作提出改进的建议，这就不是那么...

说明: LVS全称Linux Virtual Server，即Linux虚拟服务器，是一个虚拟的服务器集群系统。该项目在1998年5月由章文嵩博士成立，是中国国内最早出现的自由软件项目之一。目前有三种IP负载均衡技术（VS/NAT、VS/TUN和VS/DR）；十种调度算法（rrr|wrr|lc|wlc|lblc...

需求： LNMP网站环境--从上海到北京进行迁移，可以停机！ 老男孩老师提供的方案参考： 1、北京搭建好LNMP环境，各种性能优化，压力测试。--运维人员负责 2、导过来一部分旧的但完整的业务数据（包括程序和数据库），请开发，测试人员配合测试。--运维和开发...

运维人员必须熟悉的运维工具汇总 某日受邀请参加了一个BBS活动，于是有了下面的内容。 下面是在linux网站运维方向老男孩最近几年常用的免费的开源软件，临时即兴想起来的，在这里和大家分享，希望给初学者指引一点路。 linux的世界真的很精彩，还没入门的朋...

最近在负责公司内部私有云的建设，一直在思考怎么搞云计算，怎么才能够把云架构设计得好一些。本文尽量全面的列出了云架构建设和选型的考量因素。 我们主要从五个层面逐步评估云架构的建设和选型，分别是： 行业生态 企业需求 云计算的能力 潜在的挑战 如何...

本文将向读者详细介绍Xen的安装运行方法，从而为进一步使用Xen做好准备。这里，为了满足不同读者的需求，我们介绍了两种安装方式，一种是从二进制安装，一种是从源代码安装。您可以根据自己的实际情况加以选择。 本文以常见的Fedora Core 6为例，介绍Xen的安...

Xen是一种完全虚拟化的解决方案，起源于英国的剑桥大学计算机实验室。其创始人成立XenSource，后来被Citrix收购。Linux厂商Red Hat和Novell都在自己的操作系统中包含了各自版本的Xen，而由于Xen的大多数部分都是开源的，这些解决方案都非常相似。在本文中，抚...

CloudStack 是 Ctrix 公司在 IaaS 市场上的主打产品，它提供了对云计算资源的灵活部署与管理能力。今年上半年 Ctrix 将其源代码贡献给 Apache 后，CloudStack 成为一个开源项目。这类开源项目的文档虽历经完善，但作为一个云计算领域的新手开始尝试它的安装...

在本篇指导文章中，我将向大家介绍如何为OpenVZ创建一套CentOS 6.4服务器。在OpenVZ的帮助下，大家可以在同一套硬件上获得多套虚拟私有服务器（简称VPS），这跟Xen以及Linux Vserver项目颇为相似。OpenVZ是Virtuozzo的开源分支，作为家族长辈，Virtuozzo以商...