hadoop包简介-HDFS的概念

Hadoop的package的介绍： Package Dependences tool 提供一些命令行工具，如 DistCp ， archive mapreduce Hadoop 的 Map/Reduce 实现 filecache 提供 HDFS 文件的本地缓存，用于加快 Map/Reduce 的数据访问速度 fs 文件系统的抽象，可以理解为支持多种文件...

hadoop-FileSystem文件写入数据

FileSystem类有一系列创建文件的方法。最简单的是给拟创建的文件指定一个路径对象，然后返回一个用来写的输出流： 1 public FSDataOutputStream create(Path f) throws IOException 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 2...

hadoop运行java类

使用hadoop运行自己写的java类报错： 1 2 3 4 5 6 7 8 9 10 /home/hadoop/bin/hadoop MaxTemperature /home/hadoop/input/sample.txt output Exception in thread main java.lang.NoClassDefFoundError: MaxTemperature Caused by: java.lang.ClassNotFoundE...

hadoop本地(独立)模式-安装

本地(独立)模式 Hadoop的默认配置即为本地模式，此时Hadoop使用本地文件系统而非分布式文件系统，而且其也不会启动任何Hadoop守护进程，Map和Reduce任务都作为同一进程的不同部分来执行。因此，本地模式下的Hadoop仅运行于本机。此种模式仅用于开发或调试Map...

Hadoop学习资料、博客及网站汇总

Hadoop官方的中文文档 http://hadoop.apache.org/common/docs/r0.18.2/cn/index.html 深入理解Hadoop集群和网络 http://blog.jobbole.com/44384/ Hadoop 1.2.1 eclipse plugin 编译 win7 集成 http://blog.csdn.net/reaper1022/article/details/11009797 Had...

Hadoop文件系统和文件命令

Hadoop有一个抽象的文件系统概念，HDFS只是其中的一个实现。Java抽象类 org.apache.hadoop.fs.FileSystem展示了Hadoop的一个文件系统，而且有几个具体实现，如表 文件系统 URI 方案 Java实 现(全部在 org.apache.hadoop) 描述 Local file fs.LocalFileSystem...

hadoop pig 版本不兼容问题

在hadoop和pig安装过程中，经常会出现hadoop和pig版本不兼容的问题，下面基于Hadoop2.3.0和pig0.12.0在安装过程中版本不兼容导致的问题进行说明。 在Hadoop2.3.0和pig0.12.0安装完后，运行过程中，hadoop和piggrunt均运行正常但是dump数据报下面的错误： ERRO...

apache pig技术综述

本文总结了apache pig 的部署使用。 目录[-] 1 产品概述 1.1 产品功能 3 安装部署 4 Pig基本概念 5 Pig操作符介绍 5.1 AVG求平均 5.2 Count统计行数 5.3 FLATTEN扁平操作 5.4 GROUP分组操作 5.5 tuple加载 5.6 DISTINCT去重 5.7 STREAM操作 5.8 传入参数 5.9...

apache hive 使用概述

本文总结了apache hive 的部署使用。 目录[-] 1 产品概述 1.1 产品功能 1.2 Hive和传统数据库进行比较 1.3应用场景 2 产品架构 2.1 服务 2.2元数据 2.3NameNode与JobTracker 3 安装部署 4 数据存储模式 5 基本操作 5.1 Hive内置数据类型 5.2 Hive参数配置方法...

hadoop hbase维护问题总结

本文总结hadoop、hbase运维过程中的一些问题，仅供参考。 目录[-] 1pid不存在的问题 2hbase清除表数据的命令 1pid不存在的问题 hadoop停止集群时，报错如下所示： nonamenodetostop nodatanodetostop noseconderynamenodetostop noresourcemanagertostop nono...