Hadoop的安装非常简单，大家可以在官网上下载到最近的几个版本，网址为http://apache.etoak.com/hadoop/core/。 Hadoop最早是为了在Linux平台上使用而开发的，但是Hadoop在UNIX、Windows和Mac OS X系统上也运行良好。不过，在Windows上运行Hadoop稍显复杂，...

我们遇到的情况 Hadoop NameNode存在单点问题。这个问题会影响分布式平台24*7运行。先说说我们的情况吧。 我们的团队负责管理一个1200节点的集群(总大小12PB)，目前是运行版本为Hadoop 0.20，transaction logs写入一个共享的NFS filer(注：NetApp NFS Filer)...

一、Hadoop伪分布配置 1.在conf/hadoop-env.sh文件中增加：export JAVA_HOME=/home/Java/jdk1.6 2.在conf/core-site.xml文件中增加如下内容： !--fs.default.name-这是一个描述集群中NameNode结点的URI(包括协议、主机名称、端口号)，集群里面的每一台机器都...

CentOS上Hadoop环境的搭建与管理 please down load the attachment 编辑日期：2015年9月1日 实验要求： 完成Hadoop平台安装部署、测试Hadoop平台功能和性能，记录实验过程，提交实验报告。 1) 掌握Hadoop安装过程 2) 理解Hadoop工作原理 3) 测试Hadoop系统的...

Codis 是一个分布式Redis解决方案， 对于上层的应用来说， 连接到 Codis Proxy 和连接原生的 Redis Server 没有明显的区别， 上层应用可以像使用单机的 Redis 一样使用， Codis 底层会处理请求的转发， 不停机的数据迁移等工作， 所有后边的一切事情， 对于...

hadoop安全模式 在分布式文件系统启动的时候， 开始的时候会有安全模式 ， 当分布式文件系统处于安全模式的情况下，文件系统中的内容不允许修改也不允许删除，直到安全模式结束。 安全模式主要是为了系统启动的时候检查各个DataNode上数据块的有效性，同时根...

Hadoop流 虽然Hadoop是用java写的，但是Hadoop提供了Hadoop流，Hadoop流提供一个API, 允许用户使用任何语言编写map函数和reduce函数. Hadoop流动关键是，它使用UNIX标准流作为程序与Hadoop之间的接口。因此，任何程序只要可以从标准输入流中读取数据，并且可...

Hadoop的核心组件在一起工作时如下图所示： 图 4.4 高层 MapReduce 工作流水线 MapReduce 的输入一般来自 HDFS 中的文件，这些文件分布存储在集群内的节点上。运行一个 MapReduce 程序会在集群的许多节点甚至所有节点上运行 mapping 任务，每一个 mapping 任...

1. 简介 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapRe...

1. Bloom-Filter算法简介 Bloom-Filter，即布隆过滤器，1970年由Bloom中提出。它可以用于检索一个元素是否在一个集合中。 Bloom Filter（BF）是一种空间效率很高的随机数据结构，它利用位数组很简洁地表示一个集合，并能判断一个元素是否属于这个集合。它是...

storm有两种操作模式: 本地模式和远程模式。 本地模式：你可以在你的本地机器上开发测试你的topology， 一切都在你的本地机器上模拟出来; 远端模式：你提交的topology会在一个集群的机器上执行。 本文以Twitter Storm 官方Wiki 为基础，详细描述如何快速搭建...

本文原名 Dont use Hadoop when your data isnt that big ，出自有着多年从业经验的数据科学家 Chris Stucchio ，纽约大学柯朗研究所博士后，搞过高频交易平台，当过创业公司的CTO，更习惯称自己为统计学者。对了，他现在自己创业，提供数据分析、推荐优化咨...

1. Hive是什么 1) Hive是什么？ 这里引用 Hive wiki 上的介绍： Hive is a data warehouse infrastructure built on top of Hadoop. It provides tools to enable easy data ETL, a mechanism to put structures on the data, and the capability to queryin...

本文原名Dont use Hadoop when your data isnt that big ，出自有着多年从业经验的数据科学家Chris Stucchio，纽约大学柯朗研究所博士后，搞过高频交易平台，当过创业公司的CTO，更习惯称自己为统计学者。对了，他现在自己创业，提供数据分析、推荐优化咨询服...

如果想详细了解hbase的安装：http://abloz.com/hbase/book.html 和官网http://hbase.apache.org/ 1. 快速单击安装 在单机安装Hbase的方法。会引导你通过shell创建一个表，插入一行，然后删除它，最后停止Hbase。只要10分钟就可以完成以下的操作。 1.1下载解...

Hadoop实战实例 Hadoop是GoogleMapReduce的一个Java实现。MapReduce是一种简化的分布式编程模式，让程序自动分布到一个由普通机器组成的超大集群上并发执行。就如同java程序员可以不考虑内存泄露一样，MapReduce的run-time系统会解决输入数据的分布细节，跨越...

Hadoop的概要介绍 Hadoop，是一个分布式系统基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。 简单地说来，Hadoop是一个可以更容易开发和运行处理大规模数据的软件平台。该平台...

Hadoop集群配置（最全面总结） 通常，集群里的一台机器被指定为NameNode，另一台不同的机器被指定为JobTracker。这些机器是 masters 。余下的机器即作为DataNode 也 作为TaskTracker。这些机器是 slaves\ 官方地址：( http://hadoop.apache.org/common/docs/...

摘要： 随着数据体积的越来越大，实时处理成为了许多机构需要面对的首要挑战。Shruthi Kumar和Siddharth Patankar在Dr.Dobbs上结合了汽车超速监视，为我们演示了使用Storm进行实时大数据分析。CSDN在此编译、整理。 简单和明了，Storm让大数据分析变得轻松加...

注：本文针对64位机器，32bit课直接tar -zxvfhadoop-2.2.0.tar.gz解压配置即可。 Step1：安装jdk（6以上版本） Step2：下载hadoop---http://mirror.esocc.com/apache/hadoop/common/hadoop-2.2.0/选择hadoop-2.2.0-src.tar.gz 进行源码编译安装。 为什么选择...

关于Hadoop [root@master ~]# hadoop --help Usage: hadoop [--config confdir] COMMAND where COMMAND is one of: fs run a generic filesystem user client version print the version jar jar run a jar file checknative [-a|-h] check native hadoop and...

http://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop-yarn/ http://hadoop.apache.org/docs/r2.4.1/hadoop-yarn/hadoop-yarn-site/YARN.html http://zh.hortonworks.com/hadoop/yarn/ http://www.csdn.net/article/2013-12-18/2817842-bd-hadoopya...

最近在老师的带领下学习linux下的高可用技术，使用的是heartbeat这款软件来实现服务器集群的高可用。下面我将记录在学习和试验过称中遇到的问题和一些个人看法，供广大博友们参考借鉴，本人水平可能不够，大神请轻喷。 首先遇到的第一个问题就是我是在VMWARE...

BalanceNG 3.601 发布，此版本更新了许可撤销列表，现已提供下载： BalanceNG-3.601-1.x86_64.rpm(1.1M) BalanceNG-3.601-OSX.pkg(2.0M) balanceng_3.601_i386.deb(1.7M) balanceng_3.601_amd64.deb(1.8M) BalanceNG-3.601-Linux-x86.tar.gz(2.0M) BalanceNG...

以前整的一些思维导图，方便记忆。...

以前做过一些负载均衡高可用的实验，由于在工作环境一直都没有用到这些技术，现在几乎都忘光了，记录在evernote里的实验笔记也不完整。趁着最近事情较少，重新找了些资料，把一些相关的实验再做一遍，并记录完整，以备不时之需。 一、 LVS简介 LVS是Linux Vi...

HAProxy提供高可用性、负载均衡以及基于TCP和HTTP应用的代 理，支持虚拟主机，它是免费、快速并且可靠的一种解决方案。HAProxy特别适用于那些负载特大的web站点，这些站点通常又需要会话保持或七层处理。HAProxy运行在当前的硬件上，完全可以支持数以万计的...

1.从HDFS上传下载文件到 第一种错误： spanstyle= font-size:medium; Exceptioninthread main java.lang.IllegalArgumentException: WrongFS:hdfs: //192.168.1.11:9000/usr/yujing/wordcount, expected:hdfs: //master:9000/span 这个很多人都遇到过，不管...