EasyHadoop logoHadoop快速部署工具 EasyHadoop

EasyHadoop 是一个Hadoop一键安装系统,方便大家更容易安装部署Hadoop软件。 EasyHadoop 由前暴风影音数据团队修湘调研,向磊编写，以GPL协议进行开源 开放此管理部署系统方便大家安装使用,以此和行业共同学习进步。 支持特性如下: 1.Haoop 稳定版本 hadoop-1....

hadoop开机启动普通用户脚本

1.把hadoop、starthadoop.sh stophadoop.sh 拷贝/opt/下面 (注starthadoop.sh stophadoop.sh 是开启、关闭hadoop 脚本，可以根据目录不同更改) 2.把hadoop拷贝/etc/rc.d/init.d/下面 3.chmod 755 /opt/starthadoop.sh stophadoop.sh /etc/rc.d/init.d/hadoop...

高可用集群HA及负载均衡集群LB的实现方法

集群是个热门话题，在企业中越来越多地应用Linux操作系统提供邮件、Web、文件存储、数据库等服务，随着Linux应用的日益增长，高可用及负载均衡Linux集群也在企业中逐步地发展起来。Linux平台的低成本、高性能、高扩展性使得Linux集群能够以低廉的价格很好地...

解析RHCS高可用集群HA及负载均衡集群LB的实现方法

Linux集群概述 集群是个热门话题，在企业中越来越多地应用Linux操作系统提供邮件、Web、文件存储、数据库等服务，随着Linux应用的日益增长，高可用及负载均衡Linux集群也在企业中逐步地发展起来。Linux平台的低成本、高性能、高扩展性使得Linux集群能够以低...

Keepalived+LVS-DR模式配置高可用负载均衡集群

环境: 虚拟机:VMware Workstation 操作系统:CentOS 5.5 一、keepalived+lvs-DR模式配置高可用负载均衡 拓扑如下： 二、服务器ip配置信息 1. ip_lb 主机(master) : 2.ip_lb_2 主机 (backup) 3.web1 主机 4.web2 主机 三、在master和backup分别查看是否有ipvsa...

创建cloudera hadoop本地源服务器

在部署cloudera hadoop集群中，使用网络安装hadoop网速不太给力，需要创建一个本地源服务器，加速安装过程或者提高增加节点安装部署效率。 创建步骤 1. 如果是安装部署cloudera 4版本，需要先安装cloudera 源RPM文件 for redhat/ centos 5 64位服务器 rpm -Uv...

fluentd结合kibana、elasticsearch实时搜索分析hadoop集群日志

Fluentd是一个开源收集事件和日志系统，它目前提供150+扩展插件让你存储大数据用于日志搜索，数据分析和存储。 官方地址 http://fluentd.org/ 插件地址 http://fluentd.org/plugin/ Kibana 是一个为 ElasticSearch 提供日志分析的 Web ui工具，可使用它对日...

来自东软的 OpenStack 负载均衡即服务开源项目

东软ADSG(应用交付安全网关，Application Delivery Security Gateway) LBaaSDriver当前实现了对 OpenStack （Havana 版本或更高）负载均衡即服务（Load Balancer as a Service， LBaaS ）的支持。通过将一个 LBaaS 驱动集成到 OpenStack LBaaS 组件中，ADSG...

CentOS6.5 安装 Hadoop

Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set...

Hadoop/Yarn/MapReduce内存分配（配置）方案

以horntonworks给出推荐配置为蓝本，给出一种常见的Hadoop集群上各组件的内存分配方案。方案最右侧一栏是一个8G VM的分配方案，方案预留1-2G的内存给操作系统，分配4G给Yarn/MapReduce，当然也包括了HIVE，剩余的2-3G是在需要使用HBase时预留给HBase的。 Con...