hadoop2.4.1完全分布式安装

本文（亲测实录）主要列出在安装hadoop 2.4.1过程中各个文件配置情况，其他步骤请参考网络其他资源进行操作 1、JDK安装和SSH互信（略过） 2、各节点IP和hostname如下（各节点需配置） [hadoop@master ~]$ cat /etc/hosts 127.0.0.1 localhost 100.12.56.221...

超详细单机版搭建hadoop环境图文解析

前言： 年前，在老大的号召下，我们纠集了一帮人搞起了hadoop，并为其取了个响亮的口号云在手，跟我走。大家几乎从零开始，中途不知遇到多少问题，但终 于在回家之前搭起了一个拥有12台服务器的集群，并用命令行在该集群上运行了一些简单的mapreduce程序。想...

hbase+hive应用场景

一.Hive应用场景 本文主要讲述使用 Hive 的实践，业务不是关键，简要介绍业务场景，本次的任务是对搜索日志数据进行统计分析。 集团搜索刚上线不久，日志量并不大 。这些日志分布在 5 台前端机，按小时保存，并以小时为周期定时将上一小时产生的数据同步到日...

用hdfs存储海量的视频数据的设计思路

用hdfs存储海量的视频数据 存储海量的视频数据，主要考虑两个因素：如何接收视频数据和如何存储视频数据。 我们要根据数据block在集群上的位置分配计算量，要充分利用带宽的优势。 １．接收视频数据 将从摄像头接收到的或通过模拟产生的视频流以文件的形式存...

hadoop的hdfs文件操作实现上传文件到hdfs

这篇文章主要介绍了使用hadoop的API对HDFS上的文件访问，其中包括上传文件到HDFS上、从HDFS上下载文件和删除HDFS上的文件,需要的朋友可以参考下 hdfs文件操作操作示例，包括上传文件到HDFS上、从HDFS上下载文件和删除HDFS上的文件，大家参考使用吧 复制代码...

关于Hadoop结合RDBMS应用的一些思考

最近一段时间一直在从事和hadoop相关的工作，主要是技术内容学习、安装配置优化以及一些框架结构的设计。在此期间，我对于RDBMS和Hadoop的结合应用有了一些自己的看法，写出来大家共同探讨一下。 1、为什么要用Hadoop 这个在网上已近有很多的人说过这个问题...

HadoopDB：混合分布式系统

HadoopDB 是一个 Mapreduce 和传统关系型数据库的结合方案，以充分利用 RDBMS 的性能和 Hadoop 的容错、分布特性。2009 年被 Yale 大学教授 Abadi 提出，继而商业化为 Hadapt，据称从 VC 那儿拉到了 10M 刀投资。 本文是对 HadoopDB 论文的总结。其中不免掺...

hadoop安装与WordCount例子

1、JDK安装 下载网址： http://www.oracle.com/technetwork/java/javase/downloads/jdk-6u29-download-513648.html 如果本地有安装包，则用SecureCRT连接Linux机器，然后用rz指令进行上传文件； 下载后获得jdk-6u29-linux-i586-rpm.bin文件，使用sh jdk-6u29-...

linux集群时间同步

说明：由于hadoop集群对时间要求很高，所以集群内主机要经常同步。本文档适合ubuntu、redhat系列。 注：很多内容是在网上摘录，然后试验后总结，如有疑问可留言探讨。 1.设置主机时间准确（任意机器都可）。//如果不需要同步网络时间则可以省略这一步 1.1查...

centos6下安装部署hadoop2.2

环境准备 1、操作系统:centos6.0 64位 2、hadoop版本：hahadoop-2.2.0 安装和配置步骤具体如下： 1、主机和ip分配如下 ip地址 主机名 用途 192.168.1.112 hadoop1 namenode 192.168.1.113 hadoop2datanode 192.168.1.114 hadoop3 datanode 192.168.1.115 had...