欢迎光临IT网Linux学习频道

当前位置: > Linux集群 >
  • [Hadoop] Hadoop在Map阶段获取当前split的文件名 日期:2016-06-10 01:25:30 点击:141 好评:0

    在mapper处理阶段中有时候我们需要获取当前正在处理的HDFS文件名/HDFS目录名,其实我们可以通过 Context 来获取相关参数,代码类似如下: 1 2 3 4 5 FileSplit fileSplit = (FileSplit) context.getInputSplit(); System.out.println(======== getPath.getNa...

  • [Hadoop] hadoop多硬盘配置注意点 日期:2016-06-10 01:24:26 点击:86 好评:0

    [一]、实验环境 1.1、环境 hadoop 2.6.0 namenode 2个 各增加 2个1T硬盘 datanode 3个 各增加3个1T硬盘 1.2、挂载硬盘 fdisk 分区 (输入mnp1回车回车pw) mkfs 格式化硬盘 ( mkfs.ext4 ) mount 挂载硬盘 (以挂载目录为 /bigdata/data0 /bigdata/data1 . /bigd...

  • [Hadoop] Hadoop修改配置PID文件路径 日期:2016-06-10 01:20:22 点击:154 好评:0

    [一]、 概述 Hadoop启动后的PID文件默认配置是保存在 /tmp 目录下的,而linux下 /tmp 目录会定时清理,所以在集群运行一段时间后如果在停Hadoop相关服务是会出现类似:no datanode to stop 的错误提示,一般生产环境中我们需要重新修改PID的保存路径。 [二]、...

  • [Hadoop] HBase安装配置snappy压缩算法 日期:2016-06-10 01:19:20 点击:83 好评:0

    [一]、前提 首先是snappy编译安装和hadoop-snappy编译,这个可以直接参考:Hadoop安装配置snappy压缩,所有前提准备好后,HBase上安装配置snappy压缩算法就相对简单多了。 [二]、实验环境 角色 OS(系统) JDK Master CentOS6.3 1.7.0_75 RegionServer CentOS5...

  • [Hadoop] Hadoop安装配置snappy压缩 日期:2016-06-10 01:17:39 点击:199 好评:0

    本文的主要详细介绍hadoop2.x中snappy压缩算法安装配置的详细步骤。 [一]、 实验环境 CentOS 6.3 64位 Hadoop 2.6.0 JDK1.7.0_75 [二]、 snappy编译安装 2.1、下载源码 到官网http://code.google.com/p/snappy/或者到https://github.com/google/snappy下载源...

  • [Hadoop] HBase+Hadoop2 NN HA+Zookeeper独立安装的整合 日期:2016-06-10 01:16:46 点击:124 好评:0

    Hadoop2 NN HA+Zookeeper独立安装的步骤参见:http://www.micmiu.com/bigdata/hadoop/hadoop2-cluster-ha-setup/,本文HBase的整合是在此环境搭建好的基础上进行的。 1、各节点的角色分配 hostname IP Hadoop角色 HBase角色 nn1.hadoop zk1.hadoop 172.17.22...

  • [Hadoop] Hadoop2分布式及NN和RM实现HA的实验 日期:2016-06-10 01:10:21 点击:171 好评:0

    目录结构 引言 实验环境 实验过程 演示demo [一]、 引言 在Hadoop2.x初期的时候写过一篇hadoop 2.2.0 集群模式安装配置和测试,记录了分布式搭建的最基本的搭建步骤和运行演示,那篇文章中没有对HA的配置做实验,本文会详细介绍 Hadoop2的分布式、NameNode配...

  • [Hadoop] hadoop管理 日期:2016-06-10 00:01:27 点击:194 好评:0

    1. hdfs基本统计情况 fs是个比较抽象的层面,在分布式环境中,fs就是dfs,但在本地环境中,fs是local file system,这个时候dfs就不能用。 hadoop dfsadmin -report 2. hadoop安全模式 NameNode在启动时会自动进入安全模式。安全模式是NameNode的一种状态,在...

  • [Hadoop] Hadoop三种安装模式 日期:2016-06-09 23:56:05 点击:93 好评:0

    Hadoop三种安装模式:单机模式,伪分布式,真正分布式 一 单机模式standalone 单机模式是Hadoop的默认模式。当首次解压Hadoop的源码包时,Hadoop无法了解硬件安装环境,便保守地选择了最小配置。在这种默认模式下所有3个XML文件均为空。当配置文件为空时,Had...

  • [Hadoop] 伪分布模式下执行wordcount实例时报错解决办法 日期:2016-06-09 23:55:18 点击:117 好评:0

    问题1、不能分配内存,错误提示如下: FAILED java.lang.RuntimeException: Error while running command to get file permissions : java.io.IOException: Cannot run program /bin/ls: java.io.IOException: error=12, Cannot allocate memory at java.lang...

  • 首页
  • 上一页
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 下一页
  • 末页
  • 80798
栏目列表
推荐内容