hadoop-集群管理（4）——关键属性

hadoop中的配置属性非常多，这里只讨论关键属性，它们分散在3个文件中：core-site.xml、hdfs-site.xml、mapred-site.xml。 1. core-site.xml configuration property namefs.default.name/name valuehdfs://Route:9000/value finaltrue/final /property /con...

RHEL5 hadoop2.4.1 rsync配置

首先下载对应linux的rsync软件：http://rsync.samba.org/download.html 本例中，下载rsync-3.1.1-1.el5.rfx.i386.rpm 22-Jun-2014 21:58 420K RHEL5 and CentOS-5 x86 32bit 服务端配置 [root@master software]#pwd /root/software [root@master software]#ll...

hadoop命令详解

一、用户命令 1、archive命令 (1).什么是Hadoop archives? Hadoop archives是特殊的档案格式。一个Hadoop archive对应一个文件系统目录。 Hadoop archive的扩展名是*.har。Hadoop archive包含元数据(形式是_index和_masterindx)和数据文件(part-*)。_index文...

Hadoop命令大全

1、列出所有Hadoop Shell支持的命令 $ bin/hadoop fs -help 2、显示关于某个命令的详细信息 $ bin/hadoop fs -help command-name 3、用户可使用以下命令在指定路径下查看历史日志汇总 $ bin/hadoop job -history output-dir 这条命令会显示作业的细节信息，...

hadoop 2.2.0安装开发环境（单机伪分布模式）

最近一直在自学Hadoop，今天花点时间搭建一个开发环境，并整理成文。 首先要了解一下Hadoop的运行模式： 单机模式（standalone） 单机模式是Hadoop的默认模式。当首次解压Hadoop的源码包时，Hadoop无法了解硬件安装环境，便保守地选择了最小配置。在这种默认...

腾讯大规模Hadoop集群实践

TDW（Tencent distributed Data Warehouse，腾讯分布式数据仓库）基于开源软件Hadoop和Hive进行构建，打破了传统数据仓库不能线性扩展、可控性差的局限，并且根据腾讯数据量大、计算复杂等特定情况进行了大量优化和改造。 TDW服务覆盖了腾讯绝大部分业务产品...

hadoop 单机版部署步骤

第一步：配置机器ip和网络环境,关闭防火墙,启动ssh服务 ，修改 /etc/hosts 使用setup命令 Firewall configuration disabled System services ssh 退出setup 执行命令：/sbin/service sshd start 修改/etc/hosts : vi/etc/hosts添加 192.168.128.135(虚拟机IP)...

hadoop2.4.1 fs shell

转载地址： http://hadoop.apache.org/docs/r2.4.1/hadoop-project-dist/hadoop-common/FileSystemShell.html Overview appendToFile cat chgrp chmod chown copyFromLocal copyToLocal count cp du dus expunge get getfacl getmerge ls lsr mkdir moveFrom...

Hadoop Shell命令

FS Shell cat chgrp chmod chown copyFromLocal copyToLocal cp du dus expunge get getmerge ls lsr mkdir movefromLocal mv put rm rmr setrep stat tail test text touchz FS Shell 调用文件系统(FS)Shell命令应使用 bin/hadoop fs args的形式。 所有的的...

hadoop2.4.1_WordCount测试

hadoop2.4.1完全分布式安装：http://blog.itpub.net/26613085/viewspace-1219710/ [hadoop@master mapreduce]$ hadoop fs -ls /input 14/07/18 09:31:08 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using buil...