ubuntu 安装 hadoop（单机版）

网上虽然有很多类似的文章，但大部分都有部分细节讲清楚，导致本小哥装了好久才装上。 为此，遂起心想整理下一份尽可能清晰的安装步骤来，遂成此文。 ----------------------------------------------------------------------------------------------------...

Ubuntu上搭建Hadoop环境（单机模式+伪分布模式）

最近一直在自学Hadoop，今天花点时间搭建一个开发环境，并整理成文。 首先要了解一下Hadoop的运行模式： 单机模式（standalone） 单机模式是Hadoop的默认模式。当首次解压Hadoop的源码包时，Hadoop无法了解硬件安装环境，便保守地选择了最小配置。在这种默认...

Hadoop单机版安装，配置，运行

Hadoop是最近非常流行的东东啦，但是乍一看都觉得是集群的东东，其实在单机版上安装Hadoop也是可以的，并且安装好以后可以很方便的进行程序的调试，调试好程序以后再丢到集群中，放心的算吧，呵呵。。 本文说的是在ubuntu上hadoop的安装，其他的linux可以类...

为什么需要PaaS？对Deis，Heroku，Flynn的一些观察

目录[-] 为什么是这些功能？为什么这些功能不能分别由各种工具实现？ 纵轴： 源代码发布包可运行的镜像进程 横轴： 负载均衡、集群部署扩容缩容、健康检查、日志 约束及实现 纵向编译：buildpack 纵向运行：Procfile 纵向配置：环境变量 横向负载均衡：ngix...

在Google使用Borg进行大规模集群的管理 5-6

目录[-] 5. 使用效率 5.1 测度方法论 5.2 Cell的共享使用 5.3 大Cell 5.4 资源请求粒度 5.5 资源再利用 6. 隔离性 6.1 安全隔离 6.2 性能隔离 ##5. 使用效率Borg的一个主要目的就是有效的利用Google的机器舰队，这可是一大笔财务投资：让效率提升几个百分点...

Amazon S3 REST API详解

前段时间一个项目用到了几个云存储，其中就包括Amazon S3，于是这篇文章主要分享一些Amazon S3 Rest API的经验（Amazon S3还包括SOAP API）。 首先还是要先说一下Amazon S3，全称是Amazon Simple Storage Service。EC2和S3是Amazon最早推出的两项云服务。在传...

Hadoop分布式文件系统：架构和设计

引言 Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。...

Ubuntu 12.04 Ceph分布式文件系统之部署

二、Ceph快速配置 资源： 两台机器：一台server，一台client，安装ubuntu12.04 其中，server安装时，另外分出两个区，作为osd0、osd1的存储，没有的话，系统安装好后，使用loop设备虚拟出两个也可以。 步骤： 1、服务端安装CEPH(MON、MDS、OSD) 2、添加key到A...

CentOS 6.3上部署Ceph

一、背景知识 搭建ceph的机器分为两种：client和非client（mds、monitor、osd）。 配置时client只需要在内核编译时选上ceph就行，而其它三种则还需要编译ceph用户态源码（下载地址： http://ceph.com/download/ ），另外osd还要记得安装btrfs文件系统（内核...

在 CentOS 7.1 上安装分布式存储系统 Ceph

关于 Ceph 的介绍网上一大堆，这里就不重复了。Sage Weil 读博士的时候开发了这套牛逼的分布式存储系统，最初是奔着高性能分布式文件系统去的，结果云计算风口一来，Ceph 重心转向了分布式块存储（Block Storage）和分布式对象存储（Object Storage），现在...