• Hadoop1.2.1集群安装二

    日期：

    1：安装JDK 下载好jdk-7u45-Linux-x64.gz 或从其它电脑copy过去 [it@feng01 ~]$scp -r ./jdk-7u45-linux-x64.gz it@it.net.cn:/home/it The authenticity of host it.net.cn (10.3.7.214) cant be established. RSA key fingerprint is a8:9d:34:63:fa:c2:47:...

  • Hadoop1.2.1集群安装三

    日期：

    配置Hadoop 1:下载hadoop-1.2.1.tar.gz 在/home/it 创建目录 mkdir hadoop 2:解压 [it@it.net.cn hadoop]$ ls hadoop-1.2.1.tar.gz [it@it.net.cn hadoop]$ tar zxf hadoop-1.2.1.tar.gz [it@it.net.cn hadoop]$ ls hadoop-1.2.1 hadoop-1.2.1.tar.gz [it@it....

  • hadoop 2.4.1 集群安装一

    日期：

    配置主机名参考 Hadoop 1.2.1 集群安装一 配置JDK环境参考Hadoop1.2.1集群安装二 配置Hadoop A：下载解压hadoop http://mirrors.cnnic.cn/apache/hadoop/common/hadoop-2.4.1/hadoop-2.4.1.tar.gz 在/home/it 创建目录 mkdir hadoop hadoop-2.4.1.tar.gz下载...

  • hadoop 2.4.1 集群安装二

    日期：

    1：创建目录 [plain]view plaincopy [jifeng@feng01hadoop]$mkdirtmp [jifeng@feng01hadoop]$mkdirname [jifeng@feng01hadoop]$mkdirdata [jifeng@feng01hadoop]$ls datahadoop-1.2.1.tar.gzhadoop-2.4.1.tar.gz hadoop-1.2.1hadoop-2.4.1name hadoop-1.2.1-...

  • Hadoop中Namenode单点故障的解决方案及详细介绍

    日期：

    正如大家所知，NameNode在Hadoop系统中存在单点故障问题，这个对于标榜高可用性的Hadoop来说一直是个软肋。本文讨论一下为了解决这个问题而存在的几个solution。 1. Secondary NameNode 原理：Secondary NN会定期的从NN中读取editlog，与自己存储的Image进行...

  • 编译hadoop的eclipse插件hadoop-eclipse-plugin-1.2.1.jar

    日期：

    1：下载后Hadoop-1.1.2.tar.gz文件，里面包含源代码，并解压到E:\hadoop\hadoop-1.2.1 2：在eclipse导入工程，目录选择：E:\hadoop\hadoop-1.2.1\src\contrib\eclipse-plugin 3：在项目 MapReduceTools 中新建 lib 目录，将 hadoop-1.2.1 下的 hadoop-core-1...

  • 大数据集群环境ambari支持集群管理监控，供应hadoop+hbase+zookeeper

    日期：

    大数据集群环境ambari支持集群管理监控，供应hadoop+hbase+zookeeper Apache Ambari是一种基于Web的工具，支持Apache Hadoop集群的供应、管理和监控。Ambari目前已支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeper、Sqoop和Hcatalog...

  • MapReduce 中的两表 join 几种方案简介

    日期：

    1. 概述 在传统数据库（如：MYSQL）中，JOIN操作是非常常见且非常耗时的。而在HADOOP中进行JOIN操作，同样常见且耗时，由于Hadoop的独特设计思想，当进行JOIN操作时，有一些特殊的技巧。 本文首先介绍了Hadoop上通常的JOIN实现方法，然后给出了几种针对不同...

  • MapReduce中的自定义多目录/文件名输出HDFS

    日期：

    最近考虑到这样一个需求： 需要把原始的日志文件用hadoop做清洗后，按业务线输出到不同的目录下去，以供不同的部门业务线使用。 这个需求需要用到MultipleOutputFormat和MultipleOutputs来实现自定义多目录、文件的输出。 需要注意的是，在hadoop 0.21.x之前...

  • 使用 FileSystem JAVA API 对 HDFS 进行读、写、删除等操作

    日期：

    Hadoop文件系统 基本的文件系统命令操作, 通过hadoop fs -help可以获取所有的命令的详细帮助文件。 Java抽象类org.apache.hadoop.fs.FileSystem定义了hadoop的一个文件系统接口。该类是一个抽象类，通过以下两种静态工厂方法可以过去FileSystem实例： public...

最近关注
热点内容