• Permission denied: user=root, access=WRITE

    日期：

    hive create database bbs; FAILED: Error in metadata: MetaException(message:Got exception: org.apache.hadoop.security.AccessControlException Permission denied: user=root, access=WRITE, inode=/user/hive/warehouse:hadoop:hadoop:drwxrwxr-x 原...

  • 各hbase版本对hadoop各版本的支持情况

    日期：

    原文地址：http://hbase.apache.org/book/configuration.html#basic.prerequisites Table2.1.Hadoop version support matrix Hadoop-0.20.205 S X X X Hadoop-0.22.x S X X X Hadoop-1.0.0-1.0.2 [a] S S X X Hadoop-1.0.3+ S S S X Hadoop-1.1.x NT S S X H...

  • mapreduce中wordcount详细介绍（包括hadoop1和hadoop2版本）

    日期：

    mapreduce中wordcount详细介绍（包括hadoop1和hadoop2版本） 目录[-] 1.1 MapReduce编程模型 1.2 MapReduce处理过程 2、运行WordCount程序 2.1 准备工作 2.2 运行例子 2.3 查看结果 3、WordCount源码分析 3.1 特别数据类型介绍 3.2 旧的WordCount分析 3.3 新...

  • Hadoop 1.0.3 在CentOS 6.2上安装过程

    日期：

    //安装SSH [root@localhost /]# sudo yum install ssh //生成密钥 [root@localhost /]# ssh-keygen （可以一路回车） 生成下面两个文件： /root/.ssh/id_rsa /root/.ssh/id_rsa.pub [root@localhost .ssh]# cd /root/.ssh/ //实际情况是把公钥复制到另外一台...

  • Hadoop的shell脚本分析

    日期：

    Hadoop的shell脚本分析 前记： 这些天一直学习hadoop,学习中也遇到了许多的问题，主要是对hadoop的shell脚本和hadoop的源码概念不够清楚，所以我就对hadoop的bin目录下的shell脚本进行了研究，有一些成果想记录下来，也希望大家前来批评指正。 分析原因： 很...

  • hadoop启动脚本分析

    日期：

    HadoopCluster的启动可以说十分简单，最简单的一种方法就是运行$HADOOP_HOME/bin/start-all.sh，我也相信绝大多数的人都是这么启动的。但是这个脚本里面到底做了些什么呢？让我们来抽丝剥茧的看一看： 注：不失一般性，我们这里以dfs的启动为例子，mapred的启...

  • non dfs used 和dfs remaining区别

    日期：

    DFS Used hadoop文件系统所使用的空间 Non DFS Used 非hadoop文件系统所使用的空间，比如说本身的linux系统使用的，或者存放的其它文件...

  • Hadoop YARN中内存和CPU两种资源的调度和隔离

    日期：

    同时支持内存和CPU两种资源的调度（默认只支持内存，如果想进一步调度CPU，需要自己进行一些配置），本文将介绍Hadoop YARN是如何对这些资源进行调度和隔离的。 在YARN中，资源管理由ResourceManager和NodeManager共同完成，其中，ResourceManager中的调度器...

  • MapReduce: 提高MapReduce性能的七点建议

    日期：

    Cloudera提供给客户的服务内容之一就是调整和优化MapReduce job执行性能。MapReduce和HDFS组成一个复杂的分布式系统，并且它们运行着各式各样用户的代码，这样导致没有一个快速有效的规则来实现优化 代码性能的目的。在我看来，调整cluster或job的运行更像一...

  • hadoop作业调优参数整理及原理（主要为shuffle过程）

    日期：

    目录[-] 1 Map side tuning参数 1.1 MapTask运行内部原理 1.2 Map side相关参数调优 2 Reduce side tuning参数 2.1 ReduceTask运行内部原理 2.2 Reduce side相关参数调优 1 Map side tuning参数 1.1 MapTask运行内部原理 当map task开始运算，并产生中间数据...

最近关注
热点内容