欢迎光临IT网Linux学习频道

当前位置: > Linux集群 > Hadoop >
  • [Hadoop] 执行bin/stop-all.sh的时候发现no datanode ....的解决方法 日期:2014-09-15 03:30:02 点击:61 好评:0

    hadoop使用过程中出现了很多错误,例如,执行bin/stop-all.sh的时候发现no datanode .... 解决方法: 配置完hadoop,执行bin/hadoop namenode -format 之后还需要执行 bin/hadoop datanode -format 。...

  • [Hadoop] 详解Hadoop的InputFormat类 日期:2014-09-15 03:29:00 点击:141 好评:0

    Hadoop的InputFormat类 本节介绍下org.apache.hadoop.mapreduce.InputFormat这个抽象类。 关于此抽象类的功能描述: 1、首先为Job验证输入; 2、将输入的文件分成逻辑上的splits,每个split会被应用到一个单独的mapper上; 3、提供RecorderReader的实现,用...

  • [Hadoop] 详解Hadoop更快排序的方法 日期:2014-09-15 03:28:37 点击:63 好评:0

    在Hadoop中,键默认的排序处理方法是这样的: 从一个流中读键类型的实例,使用键类型的readFields()方法来解析字节流,然后对这两个对象调用compareTo()方法。 其实,还可以实现更快的排序,可以只通过检视字节流而不用解析出包含在其中的数据来判断这两个ke...

  • [Hadoop] 分享下Hadoop_Configuration配置文件 日期:2014-09-15 03:27:53 点击:208 好评:0

    本节主要内容: Hadoop_Configuration配置 刚接触Hadoop的API的朋友,首先接触的可能是Configuration这个类,很多的其它方法都需要这个Configuration对象作为参数传入。 其中最重要的莫过于它将用户对Hadoop所做的配置全部记录下来了。 以下是我通过调用Conf...

  • [Hadoop] Hadoop实例之从Hadoop URL中读取数据 日期:2014-09-15 03:27:20 点击:95 好评:0

    问题描述:从Hadoop文件系统中读取文件,最简方法为:使用java.net.URL 对象打开数据流,进而从中读取数据。 例如: 复制代码 代码示例: InputStream in = null; try{ in = new URL(hdfs://host/path).openStream(); }finally{ IOUtils.closeStream(in); }...

  • [Hadoop] Hadoop2.X/YARN环境搭建--CentOS7.0 JDK配置 日期:2014-09-11 10:19:06 点击:58 好评:0

    在Centos中,进行配置jdk的环境,这个还是折腾了我听挺久的。特别是在一次配置中,导致后来我的root用户无法登录,并且用其他普通用户登录,使用su - root切换到root用户,都无法使用ls这一些普通的命令。由于没有权限,各种更改,都没辙。各种麻烦...

  • [Hadoop] linux下搭建hadoop环境步骤分享 日期:2014-09-11 10:18:02 点击:78 好评:0

    linux下搭建hadoop环境步骤 1、下载hadoop包 wget http://apache.freelamp.com/hadoop/core/stable/hadoop-0.20.2.tar.gz 2、tar xvzf hadoop-0.20.2.tar.gz 3、安装JDK,从oracle网站上直接下载JDK,地址:http://www.oracle.com/technetwork/java/javase/do...

  • [Hadoop] Hadoop2.X/YARN环境搭建--CentOS7.0系统配置 日期:2014-09-11 10:15:15 点击:128 好评:0

    Hadoop原本来自于谷歌一款名为MapReduce的编程模型包。谷歌的MapReduce框架可以把一个应用程序分解为许多并行计算指令,跨大量的计算节点运行非常巨大的数据集。使用该框架的一个典型例子就是在网络数据上运行的搜索算法。 一、我缘何选择CentOS7.0 14年7月7...

  • [Hadoop] Hadoop伪分布配置与基于Eclipse开发环境搭建 日期:2014-09-04 22:29:18 点击:196 好评:0

    1、开发配置环境: 开发环境:Win7(64bit)+Eclipse(kepler service release 2) 配置环境:Ubuntu Server 14.04.1 LTS(64-bit only) 辅助工具:WinSCP + Putty Hadoop版本:2.5.0 Hadoop的Eclipse开发插件(2.x版本适用):http://pan.baidu.com/s/1eQy...

  • [Hadoop] Hadoop集群的安装 . 日期:2014-07-24 00:29:19 点击:137 好评:0

    [plain] view plaincopyprint? (一)配置环境 1.1.硬件: 三台机器:ubuntu12.04-64server 1.2软件: jdk1.6.0_4564位 hadoop-1.0.3 1.3分工如下: node00:NameNode/JobTracker/SecondaryNameNode(这里最好用一台机来单独做SecondaryNameNode) node01:DataN...

栏目列表
推荐内容