1、分布式环境搭建 采用4台安装Linux环境的机器来构建一个小规模的分布式集群。 图1 集群的架构 其中有一台机器是Master节点，即名称节点，另外三台是Slaver节点，即数据节点。这四台机器彼此间通过路由器相连，从而实验相互通信以及数据传输。它们都可以通...

1、集群部署介绍 1.1 Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统（HDFS，Hadoop Distributed Filesystem）和MapReduce（Google MapReduce的开源实现）为 核心 的Hadoop为用户提供了系统底层细节透明的分布式...

1、准备安装 1.1 系统简介 CentOS 是什么？ CentOS是一个基于Red Hat企业级 Linux提供的可自由使用的源代码企业级的 Linux 发行版本。每个版本的CentOS都会获得七年的支持（通过安全更新方式）。新版本的CentOS每两年发行一次，而每个版本的 CentOS 会定期（...

1. 准备 创建用户 useradd hadoop passwd hadoop 创建相关的目录 定义代码及工具存放的路径 mkdir -p /home/hadoop/ source mkdir -p /home/hadoop/tools 定义数据节点存放的路径到跟目录下的hadoop文件夹, 这里是数据节点存放目录需要有足够的空间存放 mkdi...

Hadoop-2.5.1集群安装配置笔记 1.环境 1.1.虚拟机 准备3台虚拟机，安装Centos 64-bit操作系统，采用最小安装。 （本来想多跑几台虚拟机，但本人笔记本电脑内存有限，最多只能同时跑3个虚拟机） 虚拟机一律配置静态IP地址，配置域名解析，各虚拟机时间同步。...

hadoop 2.5 伪分布安装，hadoop2.5分布安装 最新的hadoop2.5 安装目录做了一定修改，安装变得稍微简单一点 首先安装准备工具 $ sudo apt-get install ssh $ sudo apt-get install rsync 配置ssh $ ssh localhost If you cannot ssh to localhost without a p...

Haproxy 1.5.7 正式发布，此版本现已提供 下载 ，更新内容如下： A nasty bug reported by Dmitry Sivachenko can cause haproxy to die in some rare cases when a monitoring system issues a lot of show sess commands on the CLI and aborts them in th...

今天下午没事，就做了一个nginx+tomcate+Session 的负载均衡的tomcat集群，tomcat是用的6.0，nginx用的是nginx-1.1.11。测试的目的是看看访问的压力分布和session共享。先看看测试效果。 我在nginx中的nginx.conf中配置的访问权重。是 upstream 127.0.0.1 {...

屌丝程序员 13年SDCC大会上的一段演讲，说的很实在。适用于博客、小说类等阅读型网站。 程序员如何一个人打造日PV百万的网站架构 屌丝的特征 穷（买不起服务器，租不起带宽） 野心大（其实目标是1000wPV） 智商情商有限（不敢使用NB的工具和算法） 有点小聪...

集群安装完毕，该如何测试和使用集群： 运行hadoop首先进入hadoop所在目录，第一次执行要格式化文件系统bin/hadoop namenode format 启动bin/start-all.sh 用jps命令查看进程，显示： root@ubuntu:/usr/hadoop/hadoop-1# jps 6449 DataNode 6998 TaskTracker...