Hadoop 硬件规划

Hadoop近几年一直很热门，市面上有各种各样的书籍以及培训机构，当你熟悉完这些准备在生产上运行自己的第一个生产Hadoop集群的时候，就需要考虑购买什么样的硬件了，专业人士肯定会说：这要看你的业务类型和负载了，当然这是很有道理的，但是我接触的很多企业...

hadoop启动namenode失败

启动hadoop的namenode时，报错： ERRORorg apache. Hadoop. HDFS. Server. The namenode. The namenode: Java. Lang. IllegalArgumentException: Does not contain a valid host: port authority: HDFS: / / hadoop_forged: 9000 原因分析： 一般都是配置文...

在 Apache Hive 中轻松生存的12个技巧

Hive 可以让你在 Hadoop 上使用 SQL，但是在分布式系统上优化 SQL 则有所不同。这里是让你可以轻松驾驭 Hive 的12个技巧。 Hive并不是关系型数据库（RDBMS），但是它大多数时候都表现得像是一个关系型数据库一样，它有表、可以运行 SQL、也支持 JDBC 和 ODBC...

Hadoop缺省端口列表

50030 mapred.job.tracker.http.address 描述：JobTracker administrative web GUI JOBTRACKER的HTTP服务器和端口 50070 dfs.http.address 描述：NameNode administrative web GUI NAMENODE的HTTP服务器和端口 50010 dfs.datanode.address 描述：DataNode co...

HADOOP常见错误

错误1：bin/hadoop dfs 不能正常启动，持续提示： INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:9000. Already tried 0 time(s). 原因：由于 dfs 的部分文件默认保存在tmp文件夹，在系统重启时被删除。 解决：修改core-site.xml 的 had...

HADOOP报错Incompatible namespaceIDs

今早一来，突然发现使用-put命令往HDFS里传数据传不上去了，抱一大堆错误，然后我使用bin/hadoop dfsadmin -report查看系统状态 admin@adw1:/home/admin/joe.wangh/hadoop-0.19.2bin/hadoop dfsadmin -report Configured Capacity: 0 (0 KB) Present Capacit...

hadoop0.19.0版的包和类的分析

1Hadoop包总量（15个包） 15个包，分下面几类： （1）配置文件：这是一个多方共享的话，让每个人可以告诉群里每个人我想干啥，由控制者根据配置文件去找相应的实体指向。 （2）共用工具：基础功能的提供者 （3）通讯工具：大家是基于通讯进行工作的 （4）基...

hadoop启动停止命令分析

1批量启动与停止 1.1Start-all.sh # Start all hadoop daemons. Run this on master node. bin=`dirname $0` bin=`cd $bin; pwd` #变量配置命令 . $bin/hadoop-config.sh #Dfs服务器启动 # start dfs daemons $bin/start-dfs.sh --config $HADOOP_CONF_DIR M...

hadoop三个配置文件的参数含义说明

1获取默认配置 配置hadoop，主要是配置core-site.xml,hdfs-site.xml,mapred-site.xml三个配置文件，默认下来，这些配置文件都是空的，所以很难知道这些配置文件有哪些配置可以生效，上网找的配置可能因为各个hadoop版本不同，导致无法生效。浏览更多的配置，...

Centos 6.3 Hadoop集群配置详解

环境:4台服务器 1 Master 3 Slave, 系统Centos 6.3，预先安装好JDK 1.7 和openssh(对相关安装配置过程有疑问或者困难的请google或者查阅笔者之前的blog)，且 关闭防火墙 ( 避免配置好后运行过程引起不必要的意外) 服务器清单如下 1 2 3 4 5 6 7 8 9 HostName...