• hadoop-集群管理（2）——内存设置

    日期：

    1. 内存 hadoop为各个守护进程（namenode,secondarynamenode,jobtracker,datanode,tasktracker）统一分配的内存在hadoop-env.sh中设置，参数为HADOOP_HEAPSIZE，默认为1000M。 大部分情况下，这个统一设置的值可能并不适合。例如对于namenode节点，1000M的内...

  • hadoop-集群管理（3）——不常用参数

    日期：

    1. hadoop日志目录 默认存放在hadoop安装目录下的logs文件夹中，也可以通过hadoop-env.sh中的HADOOP_LOG_DIR变量来修改。一般建议修改默认值，使之独立于hadoop安装目录，这样便于以后的升级。 hadoop日志文件的名称格式为hadoop-用户名-守护进程名-本地主机...

  • hadoop-集群管理（4）——关键属性

    日期：

    hadoop中的配置属性非常多，这里只讨论关键属性，它们分散在3个文件中：core-site.xml、hdfs-site.xml、mapred-site.xml。 1. core-site.xml configuration property namefs.default.name/name valuehdfs://Route:9000/value finaltrue/final /property /con...

  • RHEL5 hadoop2.4.1 rsync配置

    日期：

    首先下载对应linux的rsync软件：http://rsync.samba.org/download.html 本例中，下载rsync-3.1.1-1.el5.rfx.i386.rpm 22-Jun-2014 21:58 420K RHEL5 and CentOS-5 x86 32bit 服务端配置 [root@master software]#pwd /root/software [root@master software]#ll...

  • hadoop命令详解

    日期：

    一、用户命令 1、archive命令 (1).什么是Hadoop archives? Hadoop archives是特殊的档案格式。一个Hadoop archive对应一个文件系统目录。 Hadoop archive的扩展名是*.har。Hadoop archive包含元数据(形式是_index和_masterindx)和数据文件(part-*)。_index文...

  • Hadoop命令大全

    日期：

    1、列出所有Hadoop Shell支持的命令 $ bin/hadoop fs -help 2、显示关于某个命令的详细信息 $ bin/hadoop fs -help command-name 3、用户可使用以下命令在指定路径下查看历史日志汇总 $ bin/hadoop job -history output-dir 这条命令会显示作业的细节信息，...

  • hadoop 2.2.0安装开发环境（单机伪分布模式）

    日期：

    最近一直在自学Hadoop，今天花点时间搭建一个开发环境，并整理成文。 首先要了解一下Hadoop的运行模式： 单机模式（standalone） 单机模式是Hadoop的默认模式。当首次解压Hadoop的源码包时，Hadoop无法了解硬件安装环境，便保守地选择了最小配置。在这种默认...

  • 腾讯大规模Hadoop集群实践

    日期：

    TDW（Tencent distributed Data Warehouse，腾讯分布式数据仓库）基于开源软件Hadoop和Hive进行构建，打破了传统数据仓库不能线性扩展、可控性差的局限，并且根据腾讯数据量大、计算复杂等特定情况进行了大量优化和改造。 TDW服务覆盖了腾讯绝大部分业务产品...

  • hadoop 单机版部署步骤

    日期：

    第一步：配置机器ip和网络环境,关闭防火墙,启动ssh服务 ，修改 /etc/hosts 使用setup命令 Firewall configuration disabled System services ssh 退出setup 执行命令：/sbin/service sshd start 修改/etc/hosts : vi/etc/hosts添加 192.168.128.135(虚拟机IP)...

  • hadoop2.4.1 fs shell

    日期：

    转载地址： http://hadoop.apache.org/docs/r2.4.1/hadoop-project-dist/hadoop-common/FileSystemShell.html Overview appendToFile cat chgrp chmod chown copyFromLocal copyToLocal count cp du dus expunge get getfacl getmerge ls lsr mkdir moveFrom...

最近关注
热点内容