大数据集群环境ambari支持集群管理监控，供应hadoop+hbase+zookeeper

大数据集群环境ambari支持集群管理监控，供应hadoop+hbase+zookeeper Apache Ambari是一种基于Web的工具，支持Apache Hadoop集群的供应、管理和监控。Ambari目前已支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeper、Sqoop和Hcatalog...

CentOS7下LVS+Keepalived实现高性能高可用负载均衡

一、规划 对外VIP:10.10.10.10对内VIP:192.168.10.10LVS_MASTER:10.10.10.28(eth0)192.168.10.128(eth1)LVS_BACKUP:10.10.10.29(eth0)192.168.10.129(eth1)WEB1:192.168.10.130WEB2:192.168.10.131 二、释义 LVS 是 Linux Virtual Server 的简写，意即 Linux...

CentOS 6.5 LVS + KeepAlived 搭建 负载均衡 高可用 集群

手把手教程： CentOS 6.5 LVS + KeepAlived 搭建 负载均衡 高可用 集群 为了实现服务的高可用和可扩展，在网上找了几天的资料，现在终于配置完毕，现将心得公布处理，希望对和我一样刚入门的菜鸟能有一些帮助。 一、理论知识（原理） 我们不仅要知其然，而且...

MapReduce 中的两表 join 几种方案简介

1. 概述 在传统数据库（如：MYSQL）中，JOIN操作是非常常见且非常耗时的。而在HADOOP中进行JOIN操作，同样常见且耗时，由于Hadoop的独特设计思想，当进行JOIN操作时，有一些特殊的技巧。 本文首先介绍了Hadoop上通常的JOIN实现方法，然后给出了几种针对不同...

MapReduce中的自定义多目录/文件名输出HDFS

最近考虑到这样一个需求： 需要把原始的日志文件用hadoop做清洗后，按业务线输出到不同的目录下去，以供不同的部门业务线使用。 这个需求需要用到MultipleOutputFormat和MultipleOutputs来实现自定义多目录、文件的输出。 需要注意的是，在hadoop 0.21.x之前...

使用 FileSystem JAVA API 对 HDFS 进行读、写、删除等操作

Hadoop文件系统 基本的文件系统命令操作, 通过hadoop fs -help可以获取所有的命令的详细帮助文件。 Java抽象类org.apache.hadoop.fs.FileSystem定义了hadoop的一个文件系统接口。该类是一个抽象类，通过以下两种静态工厂方法可以过去FileSystem实例： public...

MapReduce:默认Counter的含义

MapReduce Counter为提供我们一个窗口：观察MapReduce job运行期的各种细节数据。今年三月份期间，我曾经专注于MapReduce性能调优工作，是否优化的绝大多评估都是基于这些Counter的数值表现。MapReduce自带了许多默认Counter，可能有些朋友对它们有些疑问，现...

Hadoop中shuffle阶段流程分析

宏观上，Hadoop每个作业要经历两个阶段：Map phase和reduce phase。对于Map phase，又主要包含四个子阶段：从磁盘上读数据-》执行map函数-》combine结果-》将结果写到本地磁盘上；对于reduce phase，同样包含四个子阶段：从各个map task上读相应的数据（shuf...

Pig、Hive、MapReduce 解决分组 Top K 问题

问题： 有如下数据文件 city.txt （id， city， value） cat city.txt 1 wh 500 2 bj 600 3 wh 100 4 sh 400 5 wh 200 6 bj 100 7 sh 200 8 bj 300 9 sh 900 需要按 city 分组聚合，然后从每组数据中取出前两条value最大的记录。 1、这是实际业务中经常会遇...

hadoop 里执行 MapReduce 任务的几种常见方式

说明： 测试文件： echo -e aa\tbb \tcc\nbb\tcc\tdd 3.txt hadoop fs -put 3.txt /tmp/3.txt 全文的例子均以该文件做测试用例，统计单词出现的次数（WordCount）。 1、原生态的方式：java 源码编译打包成jar包后，由 hadoop 脚本调度执行，举例： import ja...