Hadoop家族学习路线图

Hadoop家族系列文章 ，主要介绍Hadoop家族产品，常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa，新增加的项目包括，YARN, Hcatalog, Oozie, Cassandra, Hama, Whirr, Flume, Bigtop, Crunch, Hue等。 从2011年开...

CentOS7环境下Ceph安装部署

Ceph简介 eph的设计目标是是在廉价的存储介质上构建具有 high performance， high scalibility, high available， 提供统一存储，分文件存储，块存储，对象存储。最近看了相关文档觉得挺有意思，而且它已经能为openstack提供块存储，非常贴合主流趋势。 Ceph...

Ceph 单/多节点 安装小结 Power by CentOS 6.x

概述 Docs : http://docs.ceph.com/docs Ceph是一个分布式文件系统，在维持POSIX兼容性的同时加入了复制和容错功能。Ceph最大的特点是分布式的元数据服务器，通过CRUSH（Controlled Replication Under Scalable Hashing）这种拟算法来分配文件的location。Ce...

Ceph分布式存储系统

Ceph是根据加州大学Santa Cruz分校的Sage Weil的博士论文所设计开发的新一代自由软件分布式文件系统，其设计目标是良好的可扩展性(PB级别以上)、高性能及高可靠性。Ceph其命名和UCSC（Ceph的诞生地）的吉祥物有关，这个吉祥物是Sammy，一个香蕉色的蛞蝓，就...

Ceph的安装过程

前面一段时间公司要求找一个分布式软件，于是就看了下开源的ceph，在官网上http://ceph.com/download/下载了ceph-0.52.tar.gz源码包。 这儿记录了下自己安装的过程： 操作系统使用的是： CentOS-6.3-x86_64； 一、先安装一些编译常用工具，也是本次编译所需要...

如何在 CentOS 7.0 上配置 Ceph 存储

Ceph 是一个将数据存储在单一分布式计算机集群上的开源软件平台。当你计划构建一个云时，你首先需要决定如何实现你的存储。开源的 Ceph 是红帽原生技术之一，它基于称为 RADOS 的对象存储系统，用一组网关 API 表示块、文件、和对象模式中的数据。由于它自身...

Ceph文件系统安装步骤

创建用户： # sudo useradd -d /home/ ceph -s /bin/bash [-m] ceph # passwd ceph /// 密码设为： ceph # vim/etc/sudoers 添加： ceph ALL=( ALL) ALL Linux实现SSH无密码登录 参见http://blog.csdn.net/whucs_b701/article/details/7422470 1. 环境配置：...

如何分分钟创建Linux虚拟集群？

设置虚拟集群可能是一个复杂、耗时的过程，因此起步的最佳方式是从细微处着手。 首先需要有两个Red Hat Enterprise linux或CentOS 7节点，并配置正确的转发及反向域名系统，由于Red Hat 6及7之间有些变化，显著降低了集群管理的复杂度。 集群设置主要依靠两...

使用配置Hadoop中常用的Linux(Ubuntu)命令

使用配置Hadoop中常用的linux(Ubuntu)命令 生成key： $ ssh-keygen -t dsa -P -f ~/.ssh/id_dsa $ cat ~/.ssh/id_dsa.pub ~/.ssh/authorized_keys -t 密钥类型可以用 -t 选项指定。如果没有指定则默认生成用于SSH-2的RSA密钥。 -f filename 指定密钥文件名。...

Hadoop在Map阶段获取当前split的文件名

在mapper处理阶段中有时候我们需要获取当前正在处理的HDFS文件名/HDFS目录名，其实我们可以通过 Context 来获取相关参数，代码类似如下： 1 2 3 4 5 FileSplit fileSplit = (FileSplit) context.getInputSplit(); System.out.println(======== getPath.getNa...