HadoopDB 是一个 Mapreduce 和传统关系型数据库的结合方案，以充分利用 RDBMS 的性能和 Hadoop 的容错、分布特性。2009 年被 Yale 大学教授 Abadi 提出，继而商业化为 Hadapt，据称从 VC 那儿拉到了 10M 刀投资。 本文是对 HadoopDB 论文的总结。其中不免掺...

1、JDK安装 下载网址： http://www.oracle.com/technetwork/java/javase/downloads/jdk-6u29-download-513648.html 如果本地有安装包，则用SecureCRT连接Linux机器，然后用rz指令进行上传文件； 下载后获得jdk-6u29-linux-i586-rpm.bin文件，使用sh jdk-6u29-...

说明：由于hadoop集群对时间要求很高，所以集群内主机要经常同步。本文档适合ubuntu、redhat系列。 注：很多内容是在网上摘录，然后试验后总结，如有疑问可留言探讨。 1.设置主机时间准确（任意机器都可）。//如果不需要同步网络时间则可以省略这一步 1.1查...

环境准备 1、操作系统:centos6.0 64位 2、hadoop版本：hahadoop-2.2.0 安装和配置步骤具体如下： 1、主机和ip分配如下 ip地址 主机名 用途 192.168.1.112 hadoop1 namenode 192.168.1.113 hadoop2datanode 192.168.1.114 hadoop3 datanode 192.168.1.115 had...

start-all.sh脚本现在已经废弃，推荐使用start-dfs.sh和start-yarn.sh分别启动HDFS和YARN。 在新一代的Hadoop里面HDFS称为了统一存储的平台，而YARN成为了统一计算的平台。 （1）调用start-dfs.sh启动HDFS。之后JPS会出现NameNode,DataNode,SecondaryNameNod...

昨晚整了半天，遇上的问题是通过start-all.sh无法启动datanode，然后关闭时就会报no datanode to stop ，引起这个的原因是因为我多次格式化，导致namespaceID不一致，解决方法也就简单了，修改Salve里的current/VERSION里的namespaceID,将其设置成与namenode...

翻看了yarn-deamon.sh stop部分的脚本： (stop) if[-f$pid];then TARGET_PID=`cat$pid` ifkill-0$TARGET_PID/dev/null21;then echostopping$command kill$TARGET_PID sleep$YARN_STOP_TIMEOUT ifkill-0$TARGET_PID/dev/null21;then echo$commanddidnotstopgr...

hadoop的配置，个人感觉是非常容易出问题。一个原因是要配置的地方多，还有个原因就是集群配置要在几台机器上都配置正确，才能保证配置好hadoop，跑起任务。 经过昨晚加今天上午的折腾，总算成功配好了集群模式，其中苦不堪言啊，中间好几次都想要放弃。这里...

本次实验目的，使用Pacemaker实现DRBD存储及应用高可用 实验环境： 系统版本：CentOS release 6.5 (Final)_x64 node1: ip :192.168.0.233 #写进/etc/hosts文件中 node2: ip :192.168.0.234 vip: 192.168.0.183 注意：1.两台机器务必写静态ip，切记莫用dhcp获...

历时一周多，终于搭建好最新版本Hadoop2.2集群，期间遇到各种问题，作为菜鸟真心被各种折磨，不过当wordcount给出结果的那一刻，兴奋的不得了~~（文当中若有错误之处或疑问欢迎指正，互相学习） 另外：欢迎配置过程中遇到问题的朋友留言，相互讨论，并且能够...

大纲 一、集群定义 二、集群类型 三、LB（负载均衡）集群 四、LVS-NAT 模式演示 五、LVS-DR 模式演示 六、LVS 持久连接 注：测试环境CentOS6.4 X86_64 相关阅读： LVS+Keepalive 集群安装部署文档http://www.linuxidc.com/Linux/2013-06/86587.htm Hadoop+ H...

Cluster原理 集群的总类： 1.负载均衡集群(LB:Load Banlancing):实现将一个访问量或者任务量特别大的应用，给他 平均分配到不同的服务器上面，以提供高容量、大并发。 2.高可用集群(HA:High Avalibility):将多台计算机组合起来，避免一个服务因某台机器 出现...

环境信息： 系统全部为rhel5_x64 Directory Server : 1.1.1.33 Real Server 1 : 1.1.1.11 Real Server 2 : 1.1.1.22 VIP : 1.1.1.44 Directory Server的配置： 安装ipvsadm，挂载系统镜像，安装程序。 [root@rhel Cluster]# pwd /mnt/cdrom/Cluster [root@rh...

namenode管理站点 首先namenode有一个web站点，默认端口号是50070， 下面是我的截屏： 至少说明namenode服务启动正常了。 日志 网站上Utilities-Log里面可以看到namenode的日志信息。包括启动的时候Java的版本，参数等等。 也可以看到复制文件t.txt的操作：...

其实这篇博客写的有些晚了，之前做过一些总结后来学校的事给忘了，这几天想重新拿来玩玩发现有的东西记不住了，翻博客发现竟然没有，好吧，所以赶紧写一份留着自己用吧，这东西网上有很多，不过也不是完全适用，所以还是自己留一份吧，废话完毕。 因为之前留...

本文介绍安装Hadoop 2.2.0 single node。 首先准备一个虚拟机，Ubuntu 12.04.4 Java环境： 1.root@hm1:~# mvn --version 2.Apache Maven3.1.1(0728685237757ffbf44136acec0402957f723d9a;2013-09-1715:22:22+0000) 3.Maven home: /usr/apache-maven-3.1.1 4....

Ganglia 是 UC Berkeley 发起的一个开源监视项目，设计用于测量数以千计的节点。每台计算机都运行一个收集和发送度量数据（如处理器速度、内存使用量等）的名为 gmond 的守护进程。它将从操作系统和指定主机中收集。接收所有度量数据的主机可以显示这些数据...

hadoop版本：hadoop-0.20.205.0-1.i386.rpm 下载地址：http://www.fayea.com/apache-mirror/hadoop/common/hadoop-0.20.205.0/ jdk版本：jdk-6u35-linux-i586-rpm.bin 下载地址：http://www.oracle.com/technetwork/java/javase/downloads/jdk6u35-downloads-...

Hadoop守护进程日志存放目录：可以用环境变量${Hadoop_LOG_DIR}进行配置，默认情况下是${HADOOP_HOME}/logs 1．配置类型节点的环境变量 在配置集群的时候可以在conf/hadoop-env.sh配置不同节点的环境变量： Daemon ConfigureOptions NameNode HADOOP_NAMENOD...

1.hadoop-env.sh：该文件用来配置hadoop所需的特殊环境变量： JAVA与HADOOP环境变量的设置（如果在~/.bash_profile中设置了环境变量，这里可以不进行配置） export JAVA_HOME=/home/admin/deploy/java6 exportHADOOP_HOME=/home/admin/deploy/hadoop-0.20.2...

Hadoop集群中有三种作业调度算法，分别为FIFO，公平调度算法和计算能力调度算法 先来先服务（FIFO） FIFO比较简单，hadoop中只有一个作业队列，被提交的作业按照先后顺序在作业队列中排队，新来的作业插入到队尾。一个作业运行完后，总是从队首取下一个作业...

一)概述 在本篇文章里,我们会涉及两部份内容,一个是LVS,另一个则是keepalived. 即我们用LVS和keepalived实现了负载均衡及高可用的服务器. LVS有实现三种IP负载均衡技术和八种连接调度算法.并且LVS集群采用三层结构,即负载调度器,服务器池,共享存储. 1)负载调...

六)虚拟服务器配置分析 virtual_server vip 端口{}是虚拟服务器配置定义部份. 下面的示例是lvs1中的配置: virtual_server 10.1.1.166 80 { delay_loop 6 lb_algo wrr lb_kind DR persistence_timeout 60 protocol TCP real_server 10.1.1.163 80 { TCP_CHECK...

七)负载调度算法 1)轮叫调度（Round Robin）(简称rr) 调度器通过轮叫调度算法将外部请求按顺序轮流分配到集群中的真实服务器上,它均等地对待每一台服务器,而不管服务器上实际的连接数和系统负载. 下面看一下轮叫调度的效果,如下: while ((1)); do ipvsadm -l...

一、LVS概念 LVS（Linux Virtual Server）：Linux 虚拟服务器 LVS是个负载均衡设备，它不提供任何服务，用户请求到这里的时候，它是将客户需求转发至后端真正提供服务的服务，所以说后端的服务称作real server。LVS分为两段，前一段称为ipvsadm（管理集群服...

BalanceNG STABLE 3.581 发布，与上一版本 3.580 相比，修复了一个 bug： 解决了 SIP session id 处理器的问题 强烈建议每位用户直接使用 server N sessionid sip 安装。 此版本现已提供下载： BalanceNG-3.581-1.x86_64.rpm (1.1M) balanceng_3.581_i386.de...

最近在弄hadoop2.0，把遇到的一些问题做个笔记： 版本：apache hadoop-2.2.0 2013-10-29 在启动nodemanager的时候报下面的错误： 2013-10-2911:32:21,523FATALorg.apache.hadoop.yarn.server.nodemanager.NodeManager:ErrorstartingNodeManager java.lang.Il...

首先先看一下文档： http://dongxicheng.org/mapreduce-nextgen/hadoop-upgrade-to-version-2/ http://dongxicheng.org/mapreduce-nextgen/hadoop-upgrade-in-version-1/ http://www.cloudera.com/content/cloudera-content/cloudera-docs/CDH4/latest/CDH4-...