欢迎光临IT网Linux学习频道

当前位置: > Linux集群 > Hadoop >
  • [Hadoop] Hadoop2.2.0+Hive0.13+MySQL5.1集成安装 日期:2016-05-26 13:24:49 点击:99 好评:0

    安装的Hive是Hive最新版本中的稳定版本,是基于Hadoop2.2.0,以前有写过,如何在hadoop1.x下面安装Hive0.8,本次Hive的版本是Hive0.13,可以直接在Hive官网上下载二进制包,无须进行源码编译。Hive需要依赖底层的Hadoop环境,所以在安装Hive前,请确保你的had...

  • [Hadoop] Hadoop2.2.0伪分布式完全安装手册 日期:2016-05-26 13:23:55 点击:64 好评:0

    网络上充斥着大量Hadoop1的教程,版本老旧,Hadoop2的中文资料相对较少,本教程的宗旨在于从Hadoop2出发,结合作者在实际工作中的经验,提供一套最新版本的Hadoop2相关教程。 为什么是Hadoop2.2.0,而不是Hadoop2.4.0 本文写作时,Hadoop的最新版本已经是2.4...

  • [Hadoop] hadoop常见配置含义 日期:2016-05-26 13:23:09 点击:155 好评:0

    参数 取值 备注 fs.default.name NameNode 的URI。 hdfs://主机名/ dfs.hosts/dfs.hosts.exclude 许可/拒绝DataNode列表。 如有必要,用这个文件控制许可的datanode列表。 dfs.replication 默认: 3 数据复制的分数 dfs.name.dir 举例: /home/username/hado...

  • [Hadoop] hadoop安装及配置流程 日期:2016-05-26 13:21:33 点击:170 好评:0

    Hadoop环境配置以及安装过程: 1、Linux系统安装,以及网络的搭建 1.1 网络的选择为host-only模式 1.2 启动vmwave的虚拟网络配置器 1.3修改ip地址,将VMware网络配置器中的iP地址设置成192.168.80.1,在Linux中网络连接中将连接更改为manual(自定义),并设...

  • [Hadoop] Hadoop 的 Server 及其线程模型分析 日期:2016-05-21 14:45:06 点击:182 好评:0

    一、Listener Listener线程,当Server处于运行状态时,其负责监听来自客户端的连接,并使用Select模式处理Accept事件。 同时,它开启了一个空闲连接(Idle Connection)处理例程,如果有过期的空闲连接,就关闭。这个例程通过一个计时器来实现。 当select操...

  • [Hadoop] Linux 下 Hadoop 2.6.0 集群环境的搭建 日期:2016-05-21 14:38:25 点击:73 好评:0

    本文旨在提供最基本的,可以用于在生产环境进行Hadoop、HDFS分布式环境的搭建,对自己是个总结和整理,也能方便新人学习使用。 基础环境 JDK的安装与配置 现在直接到Oracle官网(http://www.oracle.com/)寻找JDK7的安装包不太容易,因为现在官方推荐JDK8。...

  • [Hadoop] Hadoop DistributedCache分布式缓存的使用 日期:2016-05-21 14:35:45 点击:127 好评:0

    做项目的时候遇到一个问题,在Mapper和Reducer方法中处理目标数据时,先要去检索和匹配一个已存在的标签库,再对所处理的字段打标签。因为标签库不是很大,没必要用HBase。我的实现方法是把标签库存储成HDFS上的文件,用分布式缓存存储,这样让每个slave都能...

  • [Hadoop] Hadoop的安装与配置及示例程序wordcount的运行 日期:2016-05-18 10:41:47 点击:121 好评:0

    前言 最近在学习Hadoop,文章只是记录我的学习过程,难免有不足甚至是错误之处,请大家谅解并指正!Hadoop版本是最新发布的Hadoop-0.21.0版本,其中一些Hadoop命令已发生变化,为方便以后学习,这里均采用最新命令。具体安装及配置过程如下: 1 机器配置说明...

  • [Hadoop] 超详细单机版搭建hadoop环境图文解析 日期:2016-05-18 10:24:29 点击:173 好评:0

    年前,在老大的号召下,我们纠集了一帮人搞起了hadoop,并为其取了个响亮的口号云在手,跟我走。大家几乎从零开始,中途不知遇到多少问题,但终 于在回家之前搭起了一个拥有12台服务器的集群,并用命令行在该集群上运行了一些简单的mapreduce程序。想借此总...

  • [Hadoop] Hadoop 硬件规划 日期:2016-05-16 10:51:38 点击:121 好评:0

    Hadoop近几年一直很热门,市面上有各种各样的书籍以及培训机构,当你熟悉完这些准备在生产上运行自己的第一个生产Hadoop集群的时候,就需要考虑购买什么样的硬件了,专业人士肯定会说:这要看你的业务类型和负载了,当然这是很有道理的,但是我接触的很多企业...

  • [Hadoop] hadoop启动namenode失败 日期:2016-04-08 01:03:33 点击:63 好评:0

    启动hadoop的namenode时,报错: ERRORorg apache. Hadoop. HDFS. Server. The namenode. The namenode: Java. Lang. IllegalArgumentException: Does not contain a valid host: port authority: HDFS: / / hadoop_forged: 9000 原因分析: 一般都是配置文...

  • [Hadoop] 在 Apache Hive 中轻松生存的12个技巧 日期:2016-04-08 00:23:14 点击:89 好评:0

    Hive 可以让你在 Hadoop 上使用 SQL,但是在分布式系统上优化 SQL 则有所不同。这里是让你可以轻松驾驭 Hive 的12个技巧。 Hive并不是关系型数据库(RDBMS),但是它大多数时候都表现得像是一个关系型数据库一样,它有表、可以运行 SQL、也支持 JDBC 和 ODBC...

  • [Hadoop] Hadoop缺省端口列表 日期:2016-03-19 17:58:40 点击:129 好评:0

    50030 mapred.job.tracker.http.address 描述:JobTracker administrative web GUI JOBTRACKER的HTTP服务器和端口 50070 dfs.http.address 描述:NameNode administrative web GUI NAMENODE的HTTP服务器和端口 50010 dfs.datanode.address 描述:DataNode co...

  • [Hadoop] HADOOP常见错误 日期:2016-03-19 17:57:59 点击:155 好评:0

    错误1:bin/hadoop dfs 不能正常启动,持续提示: INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:9000. Already tried 0 time(s). 原因:由于 dfs 的部分文件默认保存在tmp文件夹,在系统重启时被删除。 解决:修改core-site.xml 的 had...

  • [Hadoop] HADOOP报错Incompatible namespaceIDs 日期:2016-03-19 17:57:16 点击:118 好评:0

    今早一来,突然发现使用-put命令往HDFS里传数据传不上去了,抱一大堆错误,然后我使用bin/hadoop dfsadmin -report查看系统状态 admin@adw1:/home/admin/joe.wangh/hadoop-0.19.2bin/hadoop dfsadmin -report Configured Capacity: 0 (0 KB) Present Capacit...

  • [Hadoop] hadoop0.19.0版的包和类的分析 日期:2016-03-11 23:20:51 点击:51 好评:0

    1Hadoop包总量(15个包) 15个包,分下面几类: (1)配置文件:这是一个多方共享的话,让每个人可以告诉群里每个人我想干啥,由控制者根据配置文件去找相应的实体指向。 (2)共用工具:基础功能的提供者 (3)通讯工具:大家是基于通讯进行工作的 (4)基...

  • [Hadoop] hadoop启动停止命令分析 日期:2016-03-11 23:18:49 点击:105 好评:0

    1批量启动与停止 1.1Start-all.sh # Start all hadoop daemons. Run this on master node. bin=`dirname $0` bin=`cd $bin; pwd` #变量配置命令 . $bin/hadoop-config.sh #Dfs服务器启动 # start dfs daemons $bin/start-dfs.sh --config $HADOOP_CONF_DIR M...

  • [Hadoop] hadoop三个配置文件的参数含义说明 日期:2016-03-11 23:17:57 点击:103 好评:0

    1获取默认配置 配置hadoop,主要是配置core-site.xml,hdfs-site.xml,mapred-site.xml三个配置文件,默认下来,这些配置文件都是空的,所以很难知道这些配置文件有哪些配置可以生效,上网找的配置可能因为各个hadoop版本不同,导致无法生效。浏览更多的配置,...

  • [Hadoop] Centos 6.3 Hadoop集群配置详解 日期:2016-03-11 23:16:24 点击:166 好评:0

    环境:4台服务器 1 Master 3 Slave, 系统Centos 6.3,预先安装好JDK 1.7 和openssh(对相关安装配置过程有疑问或者困难的请google或者查阅笔者之前的blog),且 关闭防火墙 ( 避免配置好后运行过程引起不必要的意外) 服务器清单如下 1 2 3 4 5 6 7 8 9 HostName...

  • [Hadoop] centos6.5配置hadoop+hive 日期:2016-02-27 14:10:20 点击:167 好评:0

    1,下载hive #cd/usr/local/ #wget-chttp://mirror.esocc.com/apache/hive/hive-0.12.0/hive-0.12.0.tar.gz #tarzxvfhive-0.12.0.tar.gz #cd /usr/local/#wget -c http://mirror.esocc.com/apache/hive/hive-0.12.0/hive-0.12.0.tar.gz#tar zxvf hive-0.12.0...

  • [Hadoop] centos 6.5搭建hadoop2.2.0 日期:2016-02-27 14:05:48 点击:63 好评:0

    由于测试学习用,所以安装三个虚拟机: s1=192.198.56.101 s1=192.198.56.102 s1=192.198.56.103 s1=192.198.56.101s1=192.198.56.102s1=192.198.56.103 修改hosts文件: #vim /etc/hosts //加入最下面 192.168.56.101hadoop1 192.168.56.102hadoop2 192.168...

  • [Hadoop] CentOS 6.5下Hadoop1.1.2环境搭建(单机版) 日期:2016-02-27 13:56:13 点击:184 好评:0

    (1)我的电脑环境 CentOS6.5,32位,在虚拟机下实现。 注意:下面的操作我都是使用root权限进行! (2)jdk1.6的安装 这里,我使用的jdk安装包如下,大家可以上网自行下载,这里推荐jdk为1.6为好,最好不要哦用1.7. 将jdk安装包移动到/usr/local这个目录下,...

  • [Hadoop] hadoop2.6和hbase1.0单机版安装配置 日期:2016-02-23 16:06:31 点击:152 好评:0

    环境 系统:Ubuntu 14.04 hadoop版本:2.6.0 hbase版本:1.0 jdk版本:1.8 下载地址:Apache上慢慢找吧~~ jdk的环境配置这里就不列出来了,首先讲一下hadoop配置吧。 hadoop安装 1.安装位置:/opt 2.创建hadoop用户组 sudo addgroup hadoop 3.创建hadoop用户...

  • [Hadoop] Hadoop中的SSH设置 日期:2015-12-20 16:00:50 点击:174 好评:0

    首先hadoop使用SSH来实现cluster中各个node间的登录认证。作为一个开源框架,hadoop当然也使用开源的OpenSSH啦~ SSH utilizes standard public key cryptography to create a pair of keys for user verificationone public, one private. The public key is...

  • [Hadoop] ubuntu 安装 hadoop(单机版) 日期:2015-10-20 15:44:53 点击:93 好评:0

    网上虽然有很多类似的文章,但大部分都有部分细节讲清楚,导致本小哥装了好久才装上。 为此,遂起心想整理下一份尽可能清晰的安装步骤来,遂成此文。 ----------------------------------------------------------------------------------------------------...

  • [Hadoop] Ubuntu上搭建Hadoop环境(单机模式+伪分布模式) 日期:2015-10-20 15:44:21 点击:190 好评:0

    最近一直在自学Hadoop,今天花点时间搭建一个开发环境,并整理成文。 首先要了解一下Hadoop的运行模式: 单机模式(standalone) 单机模式是Hadoop的默认模式。当首次解压Hadoop的源码包时,Hadoop无法了解硬件安装环境,便保守地选择了最小配置。在这种默认...

  • [Hadoop] Hadoop单机版安装,配置,运行 日期:2015-10-20 15:31:16 点击:126 好评:0

    Hadoop是最近非常流行的东东啦,但是乍一看都觉得是集群的东东,其实在单机版上安装Hadoop也是可以的,并且安装好以后可以很方便的进行程序的调试,调试好程序以后再丢到集群中,放心的算吧,呵呵。。 本文说的是在ubuntu上hadoop的安装,其他的linux可以类...

  • [Hadoop] Hadoop分布式文件系统:架构和设计 日期:2015-10-17 02:54:14 点击:67 好评:0

    引言 Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时,它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统,适合部署在廉价的机器上。...

栏目列表
推荐内容