前言 前篇文章我们主要讲解了LVS的理论知识，包括LVS来源、宗旨、三种模型的架构以及LVS内核空间的十种算法，今天我们来进行实践的LVS中三种模型中的NAT模型的架构以及实现方式。(实验环境以Web集群作为实验对象) 环境 此处我们LVS-NAT模型环境架构为三台Lin...

本文主要介绍了Linux服务器集群系统LVS（Linux Virtual Server）,并简单描述下LVS集群的基本应用的体系结构以及LVS的三种IP负载均衡模型（VS/NAT、VS/DR和VS/TUN）的工作原理，以及它们的优缺点和LVS集群的IP负载均衡软件IPVS在内核中实现的各种连接调度算法...

1：安装Linux 2：修改机器名 hostname 显示主机名 [it@localhost bin]$ hostname localhost.sohudo 编辑主机名配置文件 [it@localhost bin]$ vi /etc/sysconfig/network NETWORKING=yes HOSTNAME=localhost.sohudo 用root登录 [it@localhost bin]$ su - 密码...

1：安装JDK 下载好jdk-7u45-Linux-x64.gz 或从其它电脑copy过去 [it@feng01 ~]$scp -r ./jdk-7u45-linux-x64.gz it@it.net.cn:/home/it The authenticity of host it.net.cn (10.3.7.214) cant be established. RSA key fingerprint is a8:9d:34:63:fa:c2:47:...

配置Hadoop 1:下载hadoop-1.2.1.tar.gz 在/home/it 创建目录 mkdir hadoop 2:解压 [it@it.net.cn hadoop]$ ls hadoop-1.2.1.tar.gz [it@it.net.cn hadoop]$ tar zxf hadoop-1.2.1.tar.gz [it@it.net.cn hadoop]$ ls hadoop-1.2.1 hadoop-1.2.1.tar.gz [it@it....

配置主机名参考 Hadoop 1.2.1 集群安装一 配置JDK环境参考Hadoop1.2.1集群安装二 配置Hadoop A：下载解压hadoop http://mirrors.cnnic.cn/apache/hadoop/common/hadoop-2.4.1/hadoop-2.4.1.tar.gz 在/home/it 创建目录 mkdir hadoop hadoop-2.4.1.tar.gz下载...

1：创建目录 [plain]view plaincopy [jifeng@feng01hadoop]$mkdirtmp [jifeng@feng01hadoop]$mkdirname [jifeng@feng01hadoop]$mkdirdata [jifeng@feng01hadoop]$ls datahadoop-1.2.1.tar.gzhadoop-2.4.1.tar.gz hadoop-1.2.1hadoop-2.4.1name hadoop-1.2.1-...

正如大家所知，NameNode在Hadoop系统中存在单点故障问题，这个对于标榜高可用性的Hadoop来说一直是个软肋。本文讨论一下为了解决这个问题而存在的几个solution。 1. Secondary NameNode 原理：Secondary NN会定期的从NN中读取editlog，与自己存储的Image进行...

1：下载后Hadoop-1.1.2.tar.gz文件，里面包含源代码，并解压到E:\hadoop\hadoop-1.2.1 2：在eclipse导入工程，目录选择：E:\hadoop\hadoop-1.2.1\src\contrib\eclipse-plugin 3：在项目 MapReduceTools 中新建 lib 目录，将 hadoop-1.2.1 下的 hadoop-core-1...

大数据集群环境ambari支持集群管理监控，供应hadoop+hbase+zookeeper Apache Ambari是一种基于Web的工具，支持Apache Hadoop集群的供应、管理和监控。Ambari目前已支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeper、Sqoop和Hcatalog...

一、规划 对外VIP:10.10.10.10对内VIP:192.168.10.10LVS_MASTER:10.10.10.28(eth0)192.168.10.128(eth1)LVS_BACKUP:10.10.10.29(eth0)192.168.10.129(eth1)WEB1:192.168.10.130WEB2:192.168.10.131 二、释义 LVS 是 Linux Virtual Server 的简写，意即 Linux...

手把手教程： CentOS 6.5 LVS + KeepAlived 搭建 负载均衡 高可用 集群 为了实现服务的高可用和可扩展，在网上找了几天的资料，现在终于配置完毕，现将心得公布处理，希望对和我一样刚入门的菜鸟能有一些帮助。 一、理论知识（原理） 我们不仅要知其然，而且...

1. 概述 在传统数据库（如：MYSQL）中，JOIN操作是非常常见且非常耗时的。而在HADOOP中进行JOIN操作，同样常见且耗时，由于Hadoop的独特设计思想，当进行JOIN操作时，有一些特殊的技巧。 本文首先介绍了Hadoop上通常的JOIN实现方法，然后给出了几种针对不同...

最近考虑到这样一个需求： 需要把原始的日志文件用hadoop做清洗后，按业务线输出到不同的目录下去，以供不同的部门业务线使用。 这个需求需要用到MultipleOutputFormat和MultipleOutputs来实现自定义多目录、文件的输出。 需要注意的是，在hadoop 0.21.x之前...

Hadoop文件系统 基本的文件系统命令操作, 通过hadoop fs -help可以获取所有的命令的详细帮助文件。 Java抽象类org.apache.hadoop.fs.FileSystem定义了hadoop的一个文件系统接口。该类是一个抽象类，通过以下两种静态工厂方法可以过去FileSystem实例： public...

MapReduce Counter为提供我们一个窗口：观察MapReduce job运行期的各种细节数据。今年三月份期间，我曾经专注于MapReduce性能调优工作，是否优化的绝大多评估都是基于这些Counter的数值表现。MapReduce自带了许多默认Counter，可能有些朋友对它们有些疑问，现...

宏观上，Hadoop每个作业要经历两个阶段：Map phase和reduce phase。对于Map phase，又主要包含四个子阶段：从磁盘上读数据-》执行map函数-》combine结果-》将结果写到本地磁盘上；对于reduce phase，同样包含四个子阶段：从各个map task上读相应的数据（shuf...

问题： 有如下数据文件 city.txt （id， city， value） cat city.txt 1 wh 500 2 bj 600 3 wh 100 4 sh 400 5 wh 200 6 bj 100 7 sh 200 8 bj 300 9 sh 900 需要按 city 分组聚合，然后从每组数据中取出前两条value最大的记录。 1、这是实际业务中经常会遇...

说明： 测试文件： echo -e aa\tbb \tcc\nbb\tcc\tdd 3.txt hadoop fs -put 3.txt /tmp/3.txt 全文的例子均以该文件做测试用例，统计单词出现的次数（WordCount）。 1、原生态的方式：java 源码编译打包成jar包后，由 hadoop 脚本调度执行，举例： import ja...

1. 基本信息 hadoop 版本 hadoop-0.20.205.0.tar.gz 操作系统 ubuntu 2. 问题 在使用Hadoop开发初期的时候遇到一个问题。 每次重启系统后发现不能正常运行hadoop。必须执行 bin/hadoop namenode -format 进行格式化才能成功运行hadoop，但是也就意味着以前记...

当下Hadoop已经成长为一个庞大的体系，貌似只要和海量数据相关的，没有哪个领域缺少Hadoop的身影，下面是一个Hadoop生态系统的图谱，详细的列举了在Hadoop这个生态系统中出现的各种数据工具。 这一切，都起源自Web数据爆炸时代的来临 数据抓取系统 － Nutch...

虽然本文已经比较旧远了，但是在很多方面还是有一定学习的价值，中文版译者为 killme 。 一、前提和设计目标 硬件错误是常态，而非异常情况，HDFS可能是有成百上千的server组成，任何一个组件都有可能一直失效，因此错误检测和快速、自动的恢复是HDFS的核心...

Map-Reduce框架的运作完全基于key,value对，即数据的输入是一批key,value对，生成的结果也是一批key,value对，只是有时候它们的类型不一样而已。Key和value的类由于需要支持被序列化（serialize）操作，所以它们必须要实现Writable接口，而且key的类还必须实...

1、BloomFilter能解决什么问题? 以少量的内存空间判断一个元素是否属于这个集合, 代价是有一定的错误率 2、工作原理 1. 初始化一个数组, 所有位标为0, A={x1, x2, x3,,xm} (x1, x2, x3,,xm 初始为0) 2. 将已知集合S中的每一个数组, 按以下方式映射到A中 2.0...

在没有 pig 或者 hive 的环境下，直接在 mapreduce 中自己实现 join 是一件极其蛋疼的事情，MR中的join分为好几种，比如有最常见的 reduce side join，map side join，semi join 等。今天我们要讨论的是第 2 种：map side join，这种 join 在处理多个小表关...

微软著名的C++大师Herb Sutter在2005年初的时候曾经写过一篇重量级的文章：The Free Lunch Is Over: A Fundamental Turn Toward Concurrency in Software，预言OO之后软件开发将要面临的又一次重大变革-并行计算。 摩尔定律统制下的软件开发时代有一个非常有...

1 Map side tuning参数 1.1 MapTask运行内部原理 当map task开始运算，并产生中间数据时，其产生的中间结果并非直接就简单的写入磁盘。这中间的过程比较复杂，并且利用到了内存buffer来进行已经产生的部分结果的缓存，并在内存buffer中进行一些预排序来优化...

在 2012 Hadoop与大数据技术大会 上，阿里系的无影带来了题为阿里Hadoop集群架构及服务体系的演讲，他主要介绍了阿里集群的发展现状、服务模式和挑战、Hadoop版本特性等方面的内容。本文主要尝试解析该PPT（ http://hbtc2012.hadooper.cn/subject/track1lian...