• hadoop0.20.2完全分布模式安装和配置

    日期：

    ----------------------------------------------------------- hadoop集群规划 IP地址 hostname ------------ -------- 10.10.10.100master(namenode,secondary namenode,job tracker) 10.10.10.101slave1(datanode,tasktracker) 10.10.10.102slave2(datano...

  • hadoop0.20.2伪分布模式安装和配置

    日期：

    虚拟机软件VMWare Server2.0 操作系统：RedHat Enterprise Linux Server 5.3(32bit) hadoop版本：0.20.2 jdk版本：1.7 注意：各操作用户请注意查看命令行的提示符 1、首先查看下该虚拟机系统的网络配置 [root@hadoop ~]# cat /etc/hosts # Do not remove the...

  • hadoop-集群管理（1）——配置文件

    日期：

    1. 配置文件列表如下： [tianyc@Route conf]$ pwd /home/tianyc/hadoop-1.0.4/conf [tianyc@Route conf]$ ll 总用量 76 -rw-rw-r--. 1 tianyc NEU 7457 3月 6 10:38 capacity-scheduler.xml -rw-rw-r--. 1 tianyc NEU 535 3月 6 10:38 configuration.xsl -rw...

  • hadoop-集群管理（2）——内存设置

    日期：

    1. 内存 hadoop为各个守护进程（namenode,secondarynamenode,jobtracker,datanode,tasktracker）统一分配的内存在hadoop-env.sh中设置，参数为HADOOP_HEAPSIZE，默认为1000M。 大部分情况下，这个统一设置的值可能并不适合。例如对于namenode节点，1000M的内...

  • hadoop-集群管理（3）——不常用参数

    日期：

    1. hadoop日志目录 默认存放在hadoop安装目录下的logs文件夹中，也可以通过hadoop-env.sh中的HADOOP_LOG_DIR变量来修改。一般建议修改默认值，使之独立于hadoop安装目录，这样便于以后的升级。 hadoop日志文件的名称格式为hadoop-用户名-守护进程名-本地主机...

  • hadoop-集群管理（4）——关键属性

    日期：

    hadoop中的配置属性非常多，这里只讨论关键属性，它们分散在3个文件中：core-site.xml、hdfs-site.xml、mapred-site.xml。 1. core-site.xml configuration property namefs.default.name/name valuehdfs://Route:9000/value finaltrue/final /property /con...

  • RHEL5 hadoop2.4.1 rsync配置

    日期：

    首先下载对应linux的rsync软件：http://rsync.samba.org/download.html 本例中，下载rsync-3.1.1-1.el5.rfx.i386.rpm 22-Jun-2014 21:58 420K RHEL5 and CentOS-5 x86 32bit 服务端配置 [root@master software]#pwd /root/software [root@master software]#ll...

  • hadoop命令详解

    日期：

    一、用户命令 1、archive命令 (1).什么是Hadoop archives? Hadoop archives是特殊的档案格式。一个Hadoop archive对应一个文件系统目录。 Hadoop archive的扩展名是*.har。Hadoop archive包含元数据(形式是_index和_masterindx)和数据文件(part-*)。_index文...

  • Hadoop命令大全

    日期：

    1、列出所有Hadoop Shell支持的命令 $ bin/hadoop fs -help 2、显示关于某个命令的详细信息 $ bin/hadoop fs -help command-name 3、用户可使用以下命令在指定路径下查看历史日志汇总 $ bin/hadoop job -history output-dir 这条命令会显示作业的细节信息，...

  • hadoop 2.2.0安装开发环境（单机伪分布模式）

    日期：

    最近一直在自学Hadoop，今天花点时间搭建一个开发环境，并整理成文。 首先要了解一下Hadoop的运行模式： 单机模式（standalone） 单机模式是Hadoop的默认模式。当首次解压Hadoop的源码包时，Hadoop无法了解硬件安装环境，便保守地选择了最小配置。在这种默认...

最近关注
热点内容