使用hadoop运行自己写的java类报错： 1 2 3 4 5 6 7 8 9 10 /home/hadoop/bin/hadoop MaxTemperature /home/hadoop/input/sample.txt output Exception in thread main java.lang.NoClassDefFoundError: MaxTemperature Caused by: java.lang.ClassNotFoundE...

本地(独立)模式 Hadoop的默认配置即为本地模式，此时Hadoop使用本地文件系统而非分布式文件系统，而且其也不会启动任何Hadoop守护进程，Map和Reduce任务都作为同一进程的不同部分来执行。因此，本地模式下的Hadoop仅运行于本机。此种模式仅用于开发或调试Map...

Hadoop官方的中文文档 http://hadoop.apache.org/common/docs/r0.18.2/cn/index.html 深入理解Hadoop集群和网络 http://blog.jobbole.com/44384/ Hadoop 1.2.1 eclipse plugin 编译 win7 集成 http://blog.csdn.net/reaper1022/article/details/11009797 Had...

Hadoop有一个抽象的文件系统概念，HDFS只是其中的一个实现。Java抽象类 org.apache.hadoop.fs.FileSystem展示了Hadoop的一个文件系统，而且有几个具体实现，如表 文件系统 URI 方案 Java实 现(全部在 org.apache.hadoop) 描述 Local file fs.LocalFileSystem...

在hadoop和pig安装过程中，经常会出现hadoop和pig版本不兼容的问题，下面基于Hadoop2.3.0和pig0.12.0在安装过程中版本不兼容导致的问题进行说明。 在Hadoop2.3.0和pig0.12.0安装完后，运行过程中，hadoop和piggrunt均运行正常但是dump数据报下面的错误： ERRO...

本文总结了apache pig 的部署使用。 目录[-] 1 产品概述 1.1 产品功能 3 安装部署 4 Pig基本概念 5 Pig操作符介绍 5.1 AVG求平均 5.2 Count统计行数 5.3 FLATTEN扁平操作 5.4 GROUP分组操作 5.5 tuple加载 5.6 DISTINCT去重 5.7 STREAM操作 5.8 传入参数 5.9...

本文总结了apache hive 的部署使用。 目录[-] 1 产品概述 1.1 产品功能 1.2 Hive和传统数据库进行比较 1.3应用场景 2 产品架构 2.1 服务 2.2元数据 2.3NameNode与JobTracker 3 安装部署 4 数据存储模式 5 基本操作 5.1 Hive内置数据类型 5.2 Hive参数配置方法...

本文总结hadoop、hbase运维过程中的一些问题，仅供参考。 目录[-] 1pid不存在的问题 2hbase清除表数据的命令 1pid不存在的问题 hadoop停止集群时，报错如下所示： nonamenodetostop nodatanodetostop noseconderynamenodetostop noresourcemanagertostop nono...

本部署文档逐步介绍了用Ambari在线部署hdp的过程 目录[-] 1集群配置 1.1集群组成 1.2配置ssh无密码登录 1.1配置ntp服务 1.4关闭防火墙服务 1.5配置selinux和umask 2准备部署软件 2.1Jdk下载安装部署 2.2Ambari和HDP下载配置 2.3Ambari安装部署 2.4HDP安装部署...

在部署ambari的时候会出现如题的错误。这个错误是在配置host的时候出现的错误。直接google如题的错误可以得到 https://www.centos.org/forums/viewtopic.php?f=14t=43803 这个连接的解释，这个是说centos6.5的一个bug，不过已经修复了。如果是使用在线的yum...

ambari 安装Hortonworks HDP 时在检测host时异常。 The following hosts have Transparent Huge Pages (THP) enabled。THP should be disabled to avoid potential Hadoop performance issues. 解决办法,在Linux下执行： echonever/sys/kernel/mm/redhat_tra...

Hadoop的安装非常简单，大家可以在官网上下载到最近的几个版本，网址为http://apache.etoak.com/hadoop/core/。 Hadoop最早是为了在Linux平台上使用而开发的，但是Hadoop在UNIX、Windows和Mac OS X系统上也运行良好。不过，在Windows上运行Hadoop稍显复杂，...

我们遇到的情况 Hadoop NameNode存在单点问题。这个问题会影响分布式平台24*7运行。先说说我们的情况吧。 我们的团队负责管理一个1200节点的集群(总大小12PB)，目前是运行版本为Hadoop 0.20，transaction logs写入一个共享的NFS filer(注：NetApp NFS Filer)...

一、Hadoop伪分布配置 1.在conf/hadoop-env.sh文件中增加：export JAVA_HOME=/home/Java/jdk1.6 2.在conf/core-site.xml文件中增加如下内容： !--fs.default.name-这是一个描述集群中NameNode结点的URI(包括协议、主机名称、端口号)，集群里面的每一台机器都...

CentOS上Hadoop环境的搭建与管理 please down load the attachment 编辑日期：2015年9月1日 实验要求： 完成Hadoop平台安装部署、测试Hadoop平台功能和性能，记录实验过程，提交实验报告。 1) 掌握Hadoop安装过程 2) 理解Hadoop工作原理 3) 测试Hadoop系统的...

hadoop安全模式 在分布式文件系统启动的时候， 开始的时候会有安全模式 ， 当分布式文件系统处于安全模式的情况下，文件系统中的内容不允许修改也不允许删除，直到安全模式结束。 安全模式主要是为了系统启动的时候检查各个DataNode上数据块的有效性，同时根...

Hadoop流 虽然Hadoop是用java写的，但是Hadoop提供了Hadoop流，Hadoop流提供一个API, 允许用户使用任何语言编写map函数和reduce函数. Hadoop流动关键是，它使用UNIX标准流作为程序与Hadoop之间的接口。因此，任何程序只要可以从标准输入流中读取数据，并且可...

Hadoop的核心组件在一起工作时如下图所示： 图 4.4 高层 MapReduce 工作流水线 MapReduce 的输入一般来自 HDFS 中的文件，这些文件分布存储在集群内的节点上。运行一个 MapReduce 程序会在集群的许多节点甚至所有节点上运行 mapping 任务，每一个 mapping 任...

1. 简介 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapRe...

1. Bloom-Filter算法简介 Bloom-Filter，即布隆过滤器，1970年由Bloom中提出。它可以用于检索一个元素是否在一个集合中。 Bloom Filter（BF）是一种空间效率很高的随机数据结构，它利用位数组很简洁地表示一个集合，并能判断一个元素是否属于这个集合。它是...

storm有两种操作模式: 本地模式和远程模式。 本地模式：你可以在你的本地机器上开发测试你的topology， 一切都在你的本地机器上模拟出来; 远端模式：你提交的topology会在一个集群的机器上执行。 本文以Twitter Storm 官方Wiki 为基础，详细描述如何快速搭建...

本文原名 Dont use Hadoop when your data isnt that big ，出自有着多年从业经验的数据科学家 Chris Stucchio ，纽约大学柯朗研究所博士后，搞过高频交易平台，当过创业公司的CTO，更习惯称自己为统计学者。对了，他现在自己创业，提供数据分析、推荐优化咨...

1. Hive是什么 1) Hive是什么？ 这里引用 Hive wiki 上的介绍： Hive is a data warehouse infrastructure built on top of Hadoop. It provides tools to enable easy data ETL, a mechanism to put structures on the data, and the capability to queryin...

本文原名Dont use Hadoop when your data isnt that big ，出自有着多年从业经验的数据科学家Chris Stucchio，纽约大学柯朗研究所博士后，搞过高频交易平台，当过创业公司的CTO，更习惯称自己为统计学者。对了，他现在自己创业，提供数据分析、推荐优化咨询服...

如果想详细了解hbase的安装：http://abloz.com/hbase/book.html 和官网http://hbase.apache.org/ 1. 快速单击安装 在单机安装Hbase的方法。会引导你通过shell创建一个表，插入一行，然后删除它，最后停止Hbase。只要10分钟就可以完成以下的操作。 1.1下载解...

Hadoop实战实例 Hadoop是GoogleMapReduce的一个Java实现。MapReduce是一种简化的分布式编程模式，让程序自动分布到一个由普通机器组成的超大集群上并发执行。就如同java程序员可以不考虑内存泄露一样，MapReduce的run-time系统会解决输入数据的分布细节，跨越...

Hadoop的概要介绍 Hadoop，是一个分布式系统基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。 简单地说来，Hadoop是一个可以更容易开发和运行处理大规模数据的软件平台。该平台...

Hadoop集群配置（最全面总结） 通常，集群里的一台机器被指定为NameNode，另一台不同的机器被指定为JobTracker。这些机器是 masters 。余下的机器即作为DataNode 也 作为TaskTracker。这些机器是 slaves\ 官方地址：( http://hadoop.apache.org/common/docs/...