• 基于Eclipse的Hadoop应用开发环境配置

    日期：

    基于Eclipse的Hadoop应用开发环境配置 我的开发环境： 操作系统centos5.5 一个namenode 两个datanode Hadoop版本：hadoop-0.20.203.0 Eclipse版本：eclipse-java-helios-SR2-linux-gtk.tar.gz(使用3.7的版本总是崩溃，让人郁闷) 第一步：先启动hadoop守护进...

  • Hadoop Namenode不能启动 dfs/name is in an inconsistent

    日期：

    前段时间自己的本机上搭的Hadoop环境（按文档的伪分布式），第一天还一切正常，后来发现每次重新开机以后都不能正常启动，在start-dfs.sh之后jps一下发现namenode不能正常启动，按提示找到logs目录下namenode的启动log发现如下异常 org.apache.hadoop.hdfs.s...

  • hadoop-streaming 例子

    日期：

    Hadoop Streaming是Hadoop提供的一个编程工具，它允许用户使用任何可执行文件或者脚本文件作为Mapper和Reducer，例如： 采用shell脚本语言中的一些命令作为mapper和reducer（cat作为mapper，wc作为reducer） 1 2 bin/hadoop jar contrib/streaming/hadoop-0....

  • [Hadoop] Sqoop安装过程详解

    日期：

    Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。 Sqoop官方版本：http://apache.dataguru.cn/sqoop/1...

  • ubuntu 安装hadoop 伪分布模式

    日期：

    1/首先在官网下载hadoop文件，hadoop-0.23.6.tar.gz 2/系统下要安装jdk 我的系统jdk安装在：JAVA_HOME=/usr/lib/jvm/java-6-oracle 3/解压hadoop-0.23.6.tar.gz文件： 1 tar -xvzf hadoop-0.23.6.tar.gz 给文件设置所有者 1 #chown -R tianbx:tianbx title.tx...

  • hadoop-mapreduce分析

    日期：

    把整个Hadoop看作是容器，那么Mapper和Reduce就是容器里的组件，*Context保存了组件的一些配置信息，同时也是和容器通信的机制。 参数 作用 缺省值 其它实现 InputFormat 将输入的数据集切割成小数据集InputSplits,每一个InputSplit将由一个Mapper负责处理。...

  • hadoop-Mapper分析

    日期：

    2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 8...

  • hadoop-reduce分析

    日期：

    Map的结果，会通过partition分发到Reducer上，Reducer做完Reduce操作后，通过OutputFormat，进行输出 Map的结果，会通过partition分发到Reducer上，Reducer做完Reduce操作后，通过OutputFormat，进行输出。 ? 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18...

  • hadoop-ID分析

    日期：

    我们开始来分析Hadoop MapReduce的内部的运行机制。用户向Hadoop提交Job（作业），作业在JobTracker对象的控制下执行。Job被分解成为Task（任务），分发到集群中，在TaskTracker的控制下运行。Task包括MapTask和ReduceTask，是MapReduce的Map操作和Reduce操...

  • Hadoop杂记

    日期：

    namenode（hdfs）+jobtracker（mapreduce）可以放在一台机器上，datanode+tasktracker可以在一台机器上，辅助namenode要单独放一台机器，jobtracker通常情况下分区跟datanode一样(目录最好分布在不同的磁盘上，一个目录对应一个磁盘)，namenode存储目录需要...

最近关注
热点内容