1、MapReduce理论简介 1.1 MapReduce编程模型 MapReduce采用分而治之的思想，把对大规模数据集的操作，分发给一个主节点管理下的各个分节点共同完成，然后通过整合各个节点的中间结果，得到最终结果。简单地说，MapReduce就是任务的分解与结果的汇总。 在Had...

1、Linux配置java环境变量 1.1 原文出处 地址： http://blog.csdn.net/jiedushi/article/details/6672894 1.2 解压安装jdk 在shell终端下进入jdk-6u14-linux-i586.bin文件所在目录，执行命令 ./jdk-6u14-linux-i586.bin 这时会出现一段协议，连继敲回车，当...

1、SecureCRT简介 SecureCRT是一款支持SSH（SSH1和SSH2）的终端仿真程序，同时支持Telnet和rlogin协议。SecureCRT是一款用于连接运行包括Windows、UNIX和VMS的远程系统的理想工具。通过使用内含的VCP命令行程序可以进行加密文件的传输。有流行CRTTelnet客户...

1、VSFTP简介 VSFTP是一个基于GPL发布的类Unix系统上使用的FTP服务器软件，它的全称是Very Secure FTP 从此名称可以看出来，编制者的初衷是代码的安全。 安全性是编写VSFTP的初衷，除了这与生俱来的安全特性以外，高速与高稳定性也是VSFTP的两个重要特点。...

1、分布式环境搭建 采用4台安装Linux环境的机器来构建一个小规模的分布式集群。 图1 集群的架构 其中有一台机器是Master节点，即名称节点，另外三台是Slaver节点，即数据节点。这四台机器彼此间通过路由器相连，从而实验相互通信以及数据传输。它们都可以通...

1、集群部署介绍 1.1 Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统（HDFS，Hadoop Distributed Filesystem）和MapReduce（Google MapReduce的开源实现）为 核心 的Hadoop为用户提供了系统底层细节透明的分布式...

1、准备安装 1.1 系统简介 CentOS 是什么？ CentOS是一个基于Red Hat企业级 Linux提供的可自由使用的源代码企业级的 Linux 发行版本。每个版本的CentOS都会获得七年的支持（通过安全更新方式）。新版本的CentOS每两年发行一次，而每个版本的 CentOS 会定期（...

1. 准备 创建用户 useradd hadoop passwd hadoop 创建相关的目录 定义代码及工具存放的路径 mkdir -p /home/hadoop/ source mkdir -p /home/hadoop/tools 定义数据节点存放的路径到跟目录下的hadoop文件夹, 这里是数据节点存放目录需要有足够的空间存放 mkdi...

Hadoop-2.5.1集群安装配置笔记 1.环境 1.1.虚拟机 准备3台虚拟机，安装Centos 64-bit操作系统，采用最小安装。 （本来想多跑几台虚拟机，但本人笔记本电脑内存有限，最多只能同时跑3个虚拟机） 虚拟机一律配置静态IP地址，配置域名解析，各虚拟机时间同步。...

hadoop 2.5 伪分布安装，hadoop2.5分布安装 最新的hadoop2.5 安装目录做了一定修改，安装变得稍微简单一点 首先安装准备工具 $ sudo apt-get install ssh $ sudo apt-get install rsync 配置ssh $ ssh localhost If you cannot ssh to localhost without a p...

Haproxy 1.5.7 正式发布，此版本现已提供 下载 ，更新内容如下： A nasty bug reported by Dmitry Sivachenko can cause haproxy to die in some rare cases when a monitoring system issues a lot of show sess commands on the CLI and aborts them in th...

今天下午没事，就做了一个nginx+tomcate+Session 的负载均衡的tomcat集群，tomcat是用的6.0，nginx用的是nginx-1.1.11。测试的目的是看看访问的压力分布和session共享。先看看测试效果。 我在nginx中的nginx.conf中配置的访问权重。是 upstream 127.0.0.1 {...

屌丝程序员 13年SDCC大会上的一段演讲，说的很实在。适用于博客、小说类等阅读型网站。 程序员如何一个人打造日PV百万的网站架构 屌丝的特征 穷（买不起服务器，租不起带宽） 野心大（其实目标是1000wPV） 智商情商有限（不敢使用NB的工具和算法） 有点小聪...

集群安装完毕，该如何测试和使用集群： 运行hadoop首先进入hadoop所在目录，第一次执行要格式化文件系统bin/hadoop namenode format 启动bin/start-all.sh 用jps命令查看进程，显示： root@ubuntu:/usr/hadoop/hadoop-1# jps 6449 DataNode 6998 TaskTracker...

下载hadoop hadoop下载地址： http://www.apache.org/dyn/closer.cgi/hadoop/core/ 这里下载的版本是1.0.3 $ mkdir hadoop $ wgethttp://www.fayea.com/apache-mirr ... hadoop-1.0.3.tar.gz. 安装java 首先用java -version查看是否已安装，如果显示类似于ja...

问题导读： 1.如何配置各个节点之间无密码互通？ 2.启动hadoop，看不到进程的原因是什么？ 3.配置hadoop的步骤是什么？ 4.有哪些配置文件需要修改？ 5.如果没有配置文件，该如何找到该配置文件？ 6.环境变量配置了，但是不生效的原因是什么？ 7.如何查看hado...

GridGain最近在2014年的Spark峰会上发布了Hadoop内存片内加速技术，可以为Hadoop应用带来内存片内计算的相关收益。 该技术包括两个单元：和Hadoop HDFS兼容的内存片内文件系统，以及为内存片内处理而优化的MapReduce实现。这两个单元对基于磁盘的HDFS和传统...

文章作者Andrew C. Oliver是一位专业的软件顾问，同时还是北卡罗来纳州达勒姆大数据咨询公司Open Software Integrators的总裁和创始人。长时间的使用Hadoop，他发现了这12件事情真的影响了Hadoop的易用性。 Hadoop是一个很神奇的创造，但它发展过快而表现出一...

案例： Web服务器：域名www.abc.comIP：192.168.21.129 电信单线路接入 访问用户：电信宽带用户、移动宽带用户 出现问题：电信用户打开www.abc.com正常，移动用户打开www.abc.com很慢，甚至打不开 解决方案：在移动机房放置一台CDN代理服务器，通过智能DNS解...

本文根据华三通信研发副总裁王飓在2014年QCon上海的主题演讲《SDN控制器集群中的分布式技术实践》整理而成。 目前在网络世界里，云计算、虚拟化、SDN、NFV这些话题都非常热。今天借这个机会我跟大家一起来一场SDN的深度之旅，从概念一直到实践一直到一些具体...

背景和需求 中国铁路客户服务中心网站(www.12306.cn)是世界规模最大的实时交易系统之一，媲美Amazon.com，节假日尤其是春节的访问高峰，网站压力巨大。据统计， 在2012年初的春运高峰期间，每天有2000万人访问该网站，日点击量最高达到14亿。大量同时涌入的...

4,7层负载均衡软件Haproxy 1.5.6发布。 2014-10-19 上个版本是2014-10-09的1.5.5. Very few fixes this time, 1.5.6 fixes the annoying bug reported this week about disabled proxies, an issue in the URI hash (the question mark of a query string wa...

内存缓存 Memcached 1.4.21 发布。2014-10-13 上一个版本是2014-05-12的1.4.20 此版本做了makefile文件清理以及修正了可能导致崩溃OOM的错误。 下载： http://www.memcached.org/files/memcached-1.4.21.tar.gz 更多内容请看发行说明。 memcached是一套分布...

Liugi数据管线的可视化管理图 新的大数据开源技术和工具往往来自互联网公司，除了Facebook、Google和Twitter这样的巨头外，一些甚至是你想不到的互联网公司，例如Netflix和Spotify（音乐流媒体服务）也会贡献一些优秀的大数据分析开源工具（Suro和Luigi）。...

环境介绍： 在两台装有centos6.4（32位）的服务器上安装Hadoop-2.5.1分布式集群（2台机器，主要试验用，哈哈）。 1．修改主机名和/etc/hosts文件 1）修改主机名（非必要） vi /etc/sysconfig/networkHOSTNAME=XXX 重启后生效。 2）/etc/hosts是ip地址和其对...

本文以两台机器实现双集热备高可用集群，主机名 node1 的 IP 为 192.168.122.168 ，主机名 node2 的 IP 为 192.168.122.169 。 一、安装集群软件 必须软件 pcs ， pacemaker ， corosync ， fence-agents-all ，如果需要配置相关服务，也要安装对应的软件 二...

Haproxy 1.5.5补丁版发布。 2014-10-09 上一个版本是2014-09-03的1.5.4.修正了将近20个Bug。 此版本没有什么重大的改进，主要是解决了一些配置解析器的问题 (eg: stop trying to propagate process binding to dynamic backends, stop sending warnings for...

BalanceNG 3.576 发布，此版本现已提供下载，对于 3.575，改进内容如下： 添加了新的 -c 选项，允许在启动时加载一个特定配置的文件 如果备份收到 VRRP v2 从 master 的非标准同步数据包，只会报告一次警告信息(e.g. during an upgrade procedure enabling t...