东软ADSG(应用交付安全网关，Application Delivery Security Gateway) LBaaSDriver当前实现了对 OpenStack （Havana 版本或更高）负载均衡即服务（Load Balancer as a Service， LBaaS ）的支持。通过将一个 LBaaS 驱动集成到 OpenStack LBaaS 组件中，ADSG...

Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set...

以horntonworks给出推荐配置为蓝本，给出一种常见的Hadoop集群上各组件的内存分配方案。方案最右侧一栏是一个8G VM的分配方案，方案预留1-2G的内存给操作系统，分配4G给Yarn/MapReduce，当然也包括了HIVE，剩余的2-3G是在需要使用HBase时预留给HBase的。 Con...

本文以start-dfs.sh为例向下延展解释各脚本的作用和相互关系，对于start-yarn.sh同理可证。下图解释了各个脚本的作用： 注意：slaves.sh在通过SSH推送命令时，会首先读取$HADOOP_SLAVE_NAMES这个数组中的机器列表作为推送目标，当这个数组为空时才使用slaves...

本文拟定是在一个局域网内（比如一个Hadoop集群）设定一台NTP服务器作为整个网络的标准时间参考，使用网络（集群）内的所有机器保持时间一致！以下是详细的操作步骤： 1. 修改选定的服务器的本地时间 #date -s 2014-11-21 12:48:30 +%F %T #2014-11-21 12:48:...

RHCS集群配置 需要用到的各组件功能： RHCS（Red Hat Cluster Suite）：能够提供高可用性、高可靠性、负载均衡、存储共享且经济廉价的集群工具集合。 LUCI：是一个基于web的集群配置方式，通过luci可以轻松的搭建一个功能强大的集群系统。 CLVM：Cluster逻辑...

1.概述 在Hadoop2.x之后的版本，提出了解决单点问题的方案－－HA（High Available 高可用）。这篇博客阐述如何搭建高可用的HDFS和YARN，执行步骤如下： 创建hadoop用户 安装JDK 配置hosts 安装SSH 关闭防火墙 修改时区 ZK（安装，启动，验证） HDFS＋HA的结...

Hadoop自带了一个历史服务器，可以通过历史服务器查看已经运行完的Mapreduce作业记录，比如用了多少个Map、用了多少个Reduce、作业提交时间、作业启动时间、作业完成时间等信息。默认情况下，Hadoop历史服务器是没有启动的，我们可以通过下面的命令来启动Had...

1 通过Hadoop自带的WEB监控管理界面我们可以看到文件块的大小现在为64MB。 2 关闭集群 3 设置每个namenode节点和datanode节点的hdfs-site.xml文件，将文件中 的dfs.block.size属性值改为33554432（32M），重启集群 4 再次添加一个文件 会看到文件块的大小变...

我们在Hadoop配置集群时，经常将namenode与secondarynamenode存放在一个节点上，其实这是非常危险的，如果此节点崩溃的话，则整个集群不可恢复。下面介绍一下将namenode与secondarynamenode分离的方法。当然还存在好多不足和待改进的地方，欢迎各位大神指点...

由于Hadoop 2.5.x 已经出来有好几个月了，网上配置类似架构的文章也有很多，所以在这里重点描述一下namenode 和 secondary namenode不再同一台机器上的配置方法，以及namenode 宕机后 meta数据的恢复方法，并且描述一下几个主要配置文件中配置项的意义。 集...

从零开始 机器环境 Distributor ID:CentOS Description: CentOS release 5.8 (Final) Release: 5.8 Codename: Final jdk 版本 java version 1.6.0_45 hadoop 版本 2.5.2 http://mirrors.cnnic.cn/apache/hadoop/common/hadoop-2.5.2/ 安装jdk: 从甲骨文官方...

Hadoop文件存储的一些逻辑与简单原理，既然后写入，那肯定要读取分析数据咯，下面我在白话一下hdfs中文件读取的逻辑与简单原理。 第一步：跟写入文件一样，首先客户端会调用DistributedFilesyStem 对象的open（）方法来打开文件，这个方法要做的事情就是：Di...

要为即将到来的大数据时代最准备不是，下面的大白话简单记录了Hadoop中HDFS在存储文件时都做了哪些个事情，位将来集群问题的排查提供一些参考依据。 步入正题 创建一个新文件的过程： 第一步：客户端通过DistributedFilesystem 对象中的creat（）方法来创建...

LVS是Linux Virtual Server的简写，意即Linux虚拟服务器，是一个虚拟的服务器集群系统。本项目在1998年5月由章文嵩博士成立，是中国国内最早出现的自由软件项目之一。目前有三种IP负载均衡技术（VS/NAT、VS/TUN和VS/DR）； 十种调度算法（rrr|wrr|lc|wlc|lbl...

HDFS protocol: Block 块定义，组成（blockId,numBytes,generationStamp），定义问块文件的文件命名为blk_{blockId},存储的最小单位。 BlockListAsLongs：每个Block块可以由3个long的数字表达，使用long[]存储Block[],主要用于datanode高效的上报给namenode...

1、方案说明 目标是搭建企业级的高可用负载均衡集群服务。采用Keepalived + LVS + Tomcat + Memcache Session Manager + Memcached解决方案。其中： LVS：Linux Virtual Server是 Linux 虚拟服务器，可以把多台服务器虚拟为一个虚拟 IP ，同时实现各种负载均...

环境： -------------------------------------------- 一台apache2.2服务器,三台tomcat服务器： apache2.2服务器 1.ip:192.168.1.20 2.只装apache软件:httpd-2.2.6.tar.bz2 安装路径:/usr/local/apache2 tomcat服务器：均配置相同的应用。 1.集群名：balanc...

一、集群和负载均衡的概念 （一）集群的概念 集群（Cluster）是由两台或多台节点机（服务器）构成的一种松散耦合的计算节点集合，为用户提供网络服务或应用程序(包括数据库、Web服务和文件服务等)的单一客户视图，同时提供接近容错机的故障恢复能力。集群系...

JDK安装步骤 1. 以root身份登录系统 2. 到java.sun.com去下载JDK1.5 for LINUX的rpm，是个jdk-1_5_0_11-linux-i586-rpm.bin的文件. 3. 通过chmod ＋x jdk-1_5_x-rc-linux-i586-rpm.bin命令使其获得可执行权限 4. 执行./jdk-1_5_0_11-linux-i586-rpm.bin 5....

Nginx不仅是一款优秀的WEB 服务器 ,同时可以根据nginx的反代理可以 配置 成强大的负载均衡器.这里就介绍如何把nginx 配置 成负载均衡器,并结合keepalived 配置 高 可用 的集群. 一般集群主要 架构 为: 前端为负载均衡器两个:主/备,两种工作方式,一种是备机待...

先来看几个命令，在heartbeat安装后会自动加上，在监控脚本中会用到以下命令： 复制代码 代码示例: [root@usvr-210 libexec]# which cl_status /usr/bin/cl_status [root@usvr-210 libexec]# cl_status listnodes #列出当前heartbeat集群中的节点 192.168.3....

在将heartbeat应用到线上后，启动service heartbeat start没有反应，可以参考下这里的解决方法。 heartbeat启动后无反应 查看日志文件： tail -f /var/log/ha-log： heartbeat[30680]: 2015/01/27_18:04:29 info: Version 2 support: false heartbeat[30680]:...

一、环境配置 这里选择的环境是hadoop-0.20.2和hbase-0.90.4，Hadoop环境配置参看这里，HBase环境配置请看这里。 需要注意的是，本文的需求是在Hadoop上跑MapReduce job来分析日志并将结果持久化到HBase，所以，在编译程序时，Hadoop需要用到HBase和Zookeeper...

Kafka Manager 是 Yahoo 推出的 Kafka 管理工具，支持： 管理多个集群 轻松检查集群状态 (topics, brokers, replica distribution, partition distribution) 执行复制选举 生成分区指派，基于集群的状态 分区的重新指派 该项目基于 Play Framework 框架开发...

Nginx是一款轻量级的web服务器/反向代理服务器,更详细的释义自己百度了。目前国内像新浪、网易等都在使用它。先说下我的服务器软件环境： 系统：windows_server_2008_standard_enterprise_and_datacenter_with_sp2_x64 当前运行的Tomcat：非安装版本Tomcat 6...

ZooKeeper是一个分布式开源框架，提供了协调分布式应用的基本服务，它向外部应用暴露一组通用服务分布式同步（Distributed Synchronization）、命名服务（Naming Service）、集群维护（Group Maintenance）等，简化分布式应用协调及其管理的难度，提供高性能...

本文主要向大家介绍有关Hadoop集群搭建，从配置环境到简单的命令启动一一进行了讲解。希望对于想接触hadoop的你有所帮助。 首先说一下配置环境：三台电脑 192.168.30.149hadoop149namenode和jobtracker###因为149机器稍微好一点 192.168.30.150hadoop150data...