Hadoop实战实例

Hadoop实战实例 Hadoop是GoogleMapReduce的一个Java实现。MapReduce是一种简化的分布式编程模式，让程序自动分布到一个由普通机器组成的超大集群上并发执行。就如同java程序员可以不考虑内存泄露一样，MapReduce的run-time系统会解决输入数据的分布细节，跨越...

Hadoop简介

Hadoop的概要介绍 Hadoop，是一个分布式系统基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。 简单地说来，Hadoop是一个可以更容易开发和运行处理大规模数据的软件平台。该平台...

Hadoop集群配置（最全面总结）

Hadoop集群配置（最全面总结） 通常，集群里的一台机器被指定为NameNode，另一台不同的机器被指定为JobTracker。这些机器是 masters 。余下的机器即作为DataNode 也 作为TaskTracker。这些机器是 slaves\ 官方地址：( http://hadoop.apache.org/common/docs/...

使用Storm实现实时大数据分析

摘要： 随着数据体积的越来越大，实时处理成为了许多机构需要面对的首要挑战。Shruthi Kumar和Siddharth Patankar在Dr.Dobbs上结合了汽车超速监视，为我们演示了使用Storm进行实时大数据分析。CSDN在此编译、整理。 简单和明了，Storm让大数据分析变得轻松加...

CentOS6.4下搭建hadoop2.2（64bit）注意事项

注：本文针对64位机器，32bit课直接tar -zxvfhadoop-2.2.0.tar.gz解压配置即可。 Step1：安装jdk（6以上版本） Step2：下载hadoop---http://mirror.esocc.com/apache/hadoop/common/hadoop-2.2.0/选择hadoop-2.2.0-src.tar.gz 进行源码编译安装。 为什么选择...

Hadoop常见重要命令行操作及命令作用

关于Hadoop [root@master ~]# hadoop --help Usage: hadoop [--config confdir] COMMAND where COMMAND is one of: fs run a generic filesystem user client version print the version jar jar run a jar file checknative [-a|-h] check native hadoop and...

Hadoop Yarn

http://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop-yarn/ http://hadoop.apache.org/docs/r2.4.1/hadoop-yarn/hadoop-yarn-site/YARN.html http://zh.hortonworks.com/hadoop/yarn/ http://www.csdn.net/article/2013-12-18/2817842-bd-hadoopya...

CentOS6.6安装heartbeat实现高可用

最近在老师的带领下学习linux下的高可用技术，使用的是heartbeat这款软件来实现服务器集群的高可用。下面我将记录在学习和试验过称中遇到的问题和一些个人看法，供广大博友们参考借鉴，本人水平可能不够，大神请轻喷。 首先遇到的第一个问题就是我是在VMWARE...

BalanceNG 3.601 发布，负载均衡软件

BalanceNG 3.601 发布，此版本更新了许可撤销列表，现已提供下载： BalanceNG-3.601-1.x86_64.rpm(1.1M) BalanceNG-3.601-OSX.pkg(2.0M) balanceng_3.601_i386.deb(1.7M) balanceng_3.601_amd64.deb(1.8M) BalanceNG-3.601-Linux-x86.tar.gz(2.0M) BalanceNG...

集群 LVS Raid

以前整的一些思维导图，方便记忆。...