1 将排序结果插入到新文件中 hive insert overwrite table re_table1 select * from table1 cluster by id; 2 在shell中使用hive $HIVE_HOME/bin/hive -S -e select * from table1 cluster by id /home/hadoop/hadoop/hadoop-1.2.1/test/re_s.txt 3 hive中操...

目录[-] 文章地址：http://www.superwu.cn/2014/02/12/1094/ 前言 hadoop2体系结构 配置过程详述 文件hadoop-env.sh 文件core-site.xml 集群c1的文件hdfs-site.xml 集群c2的文件hdfs-site.xml 文件mapred-site.xml 文件yarn-site.xml 文件slaves 启动过程 1....

Hadoop环境配置过程中可能遇到问题的解决方案 Failed to set setXIncludeAware(true) for parser 遇到此问题一般是jar包冲突的问题。一种情况是我们向java的lib目录添加我们自己的jar包导致Hadoop引用jar包的冲突。解决方案就是删除我们自己向系统添加的jar...

启动hadoop2.3.0时显示JAVA_HOME is not set and could not 使用start-all.sh直接启动Hadoop 如果报如下错误：localhost:Error: JAVA_HOME is not set and could not be found.则是因为JAVA_HOME环境变量没有设置，需要在./etc/hadoop/hadoop-env.sh中设置JAV...

[root@centos2 sqoop-1.4.4.bin__hadoop-1.0.0]# bin/sqoop help Error: /usr/lib/hadoop does not exist! Please set $HADOOP_COMMON_HOME to the root of your Hadoop installation. 需要配置sqoop-env.sh文件 在sqoop中conf目录下新复制一个sqoop-env.sh...

14/04/07 15:33:21 INFO hive.metastore: Waiting 1 seconds before next connection attempt. 14/04/07 15:33:22 INFO hive.metastore: Trying to connect to metastore with URI thrift://127.0.0.1:9083 14/04/07 15:33:22 WARN hive.metastore: Failed t...

hive create database bbs; FAILED: Error in metadata: MetaException(message:Got exception: org.apache.hadoop.security.AccessControlException Permission denied: user=root, access=WRITE, inode=/user/hive/warehouse:hadoop:hadoop:drwxrwxr-x 原...

原文地址：http://hbase.apache.org/book/configuration.html#basic.prerequisites Table2.1.Hadoop version support matrix Hadoop-0.20.205 S X X X Hadoop-0.22.x S X X X Hadoop-1.0.0-1.0.2 [a] S S X X Hadoop-1.0.3+ S S S X Hadoop-1.1.x NT S S X H...

mapreduce中wordcount详细介绍（包括hadoop1和hadoop2版本） 目录[-] 1.1 MapReduce编程模型 1.2 MapReduce处理过程 2、运行WordCount程序 2.1 准备工作 2.2 运行例子 2.3 查看结果 3、WordCount源码分析 3.1 特别数据类型介绍 3.2 旧的WordCount分析 3.3 新...

//安装SSH [root@localhost /]# sudo yum install ssh //生成密钥 [root@localhost /]# ssh-keygen （可以一路回车） 生成下面两个文件： /root/.ssh/id_rsa /root/.ssh/id_rsa.pub [root@localhost .ssh]# cd /root/.ssh/ //实际情况是把公钥复制到另外一台...

Hadoop的shell脚本分析 前记： 这些天一直学习hadoop,学习中也遇到了许多的问题，主要是对hadoop的shell脚本和hadoop的源码概念不够清楚，所以我就对hadoop的bin目录下的shell脚本进行了研究，有一些成果想记录下来，也希望大家前来批评指正。 分析原因： 很...

HadoopCluster的启动可以说十分简单，最简单的一种方法就是运行$HADOOP_HOME/bin/start-all.sh，我也相信绝大多数的人都是这么启动的。但是这个脚本里面到底做了些什么呢？让我们来抽丝剥茧的看一看： 注：不失一般性，我们这里以dfs的启动为例子，mapred的启...

DFS Used hadoop文件系统所使用的空间 Non DFS Used 非hadoop文件系统所使用的空间，比如说本身的linux系统使用的，或者存放的其它文件...

同时支持内存和CPU两种资源的调度（默认只支持内存，如果想进一步调度CPU，需要自己进行一些配置），本文将介绍Hadoop YARN是如何对这些资源进行调度和隔离的。 在YARN中，资源管理由ResourceManager和NodeManager共同完成，其中，ResourceManager中的调度器...

Cloudera提供给客户的服务内容之一就是调整和优化MapReduce job执行性能。MapReduce和HDFS组成一个复杂的分布式系统，并且它们运行着各式各样用户的代码，这样导致没有一个快速有效的规则来实现优化 代码性能的目的。在我看来，调整cluster或job的运行更像一...

目录[-] 1 Map side tuning参数 1.1 MapTask运行内部原理 1.2 Map side相关参数调优 2 Reduce side tuning参数 2.1 ReduceTask运行内部原理 2.2 Reduce side相关参数调优 1 Map side tuning参数 1.1 MapTask运行内部原理 当map task开始运算，并产生中间数据...

1从mysql读数据到hdfs： mapreduce读数据库数据到hdfs使用map读取，连接数和map数对应，读的时候会锁表读取全量数据，此时，其它更新或者写入操作就会处于等待状态。所以读的数据库尽量不能为主库，而是用从库，主库主要负责写，从库主要负责读。若锁表读取...

如下图，hadoop访问控制分为两级，其中ServiceLevel Authorization为系统级，用于控制是否可以访问指定的服务，例如用户/组是否可以向集群提交Job，它是最基础的访问控制，优先于文件权限和 mapred队列权限验证。Access Control on Job Queues在job调度策略...

...

datanode监控json格式数据：将http://namenode_ip:50070/dfshealth.jsp的地址替换成http://namenode_ip:50070/jmx resourcemanager监控json格式数据：将http://resourcemanager_ip:8088/dfshealth.jsp的地址替换成http://resourcemanager_ip:8088/jmx 参考文...

目录[-] 1 压缩 2 Hadoop压缩简介 3 Hadoop压缩API应用实例 1 压缩 一般来说，计算机处理的数据都存在一些冗余度，同时数据中间，尤其是相邻数据间存在着相关性，所以可以通过一些有别于原始编码的特殊编码方式来保存数据， 使数据占用的存储空间比较小，这...

1 gzip压缩 优点：压缩率比较高，而且压缩/解压速度也比较快；hadoop本身支持，在应用中处理gzip格式的文件就和直接处理文本一样；有hadoop native库；大部分linux系统都自带gzip命令，使用方便。 缺点：不支持split。 应用场景：当每个文件压缩之后在130M以...

1 Hadoop Configuration简介 Hadoop没有使用java.util.Properties管理配置文件，也没有使用Apache Jakarta Commons Configuration管理配置文件，而是使用了一套独有的配置文件管理系统，并提供自己的API，即使用org.apache.hadoop.conf.Configuration处理配...

1hadoop中各工程包依赖简述 Google的核心竞争技术是它的计算平台。Google的大牛们用了下面5篇文章，介绍了它们的计算设施。 GoogleCluster： http://research.google.com/archive/googlecluster.html Chubby：http://labs.google.com/papers/chubby.html GFS...

如何恢复hadoop中被删除的文件...

Hadoop 2.2.0 安装路径: /opt/hadoop-2.2.0 Java版本: [steve@bmc opt]$ java -version java version 1.7.0_45 Java(TM) SE Runtime Environment (build 1.7.0_45-b18) Java HotSpot(TM) 64-Bit Server VM (build 24.45-b08, mixed mode) 用于运行Hadoop的用...

1、系统管理 1.1 连接MySQL 格式： mysql -h主机地址 -u用户名 －p用户密码 举例： 例1：连接到本机上的MySQL。 首先在打开DOS窗口，然后进入目录 mysqlbin，再键入命令mysql u root p，回车后提示你输密码，如果刚安装好MySQL，超级用户root是没有密码的，...

1、MySQL安装 MySQL下载地址： http://www.mysql.com/downloads/ 1.1 Windows平台 1）准备软件 MySQL版本：mysql-5.5.21-win32.msi 2）安装环境： 操作系统：Windows 7旗舰版 3）开始安装 第一步：双击msi安装文件，出现如图1.1-1界面MySQL安装向导，按Next...