目录[-] 5. 使用效率 5.1 测度方法论 5.2 Cell的共享使用 5.3 大Cell 5.4 资源请求粒度 5.5 资源再利用 6. 隔离性 6.1 安全隔离 6.2 性能隔离 ##5. 使用效率Borg的一个主要目的就是有效的利用Google的机器舰队，这可是一大笔财务投资：让效率提升几个百分点...

前段时间一个项目用到了几个云存储，其中就包括Amazon S3，于是这篇文章主要分享一些Amazon S3 Rest API的经验（Amazon S3还包括SOAP API）。 首先还是要先说一下Amazon S3，全称是Amazon Simple Storage Service。EC2和S3是Amazon最早推出的两项云服务。在传...

引言 Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。...

二、Ceph快速配置 资源： 两台机器：一台server，一台client，安装ubuntu12.04 其中，server安装时，另外分出两个区，作为osd0、osd1的存储，没有的话，系统安装好后，使用loop设备虚拟出两个也可以。 步骤： 1、服务端安装CEPH(MON、MDS、OSD) 2、添加key到A...

一、背景知识 搭建ceph的机器分为两种：client和非client（mds、monitor、osd）。 配置时client只需要在内核编译时选上ceph就行，而其它三种则还需要编译ceph用户态源码（下载地址： http://ceph.com/download/ ），另外osd还要记得安装btrfs文件系统（内核...

关于 Ceph 的介绍网上一大堆，这里就不重复了。Sage Weil 读博士的时候开发了这套牛逼的分布式存储系统，最初是奔着高性能分布式文件系统去的，结果云计算风口一来，Ceph 重心转向了分布式块存储（Block Storage）和分布式对象存储（Object Storage），现在...

在CentOS7 中ceph-deploy安装ceph0.80，以及如何在客户端fstab加载。 Ceph的主要目标是设计成基于POSIX的没有单点故障的分布式文件系统，使数据能容错和无缝的复制。详见：http://www.oschina.net/p/ceph 目前大部分部署ceph基本都是在Ubuntu，因为它的内核默...

[root@ceph01 yum.repos.d]# yum install ceph Loaded plugins: fastestmirror Ceph |951 B00:00:00 Ceph-noarch |951 B00:00:00 ceph-source |951 B00:00:00 (1/3): Ceph-noarch/primary | 2.6 kB00:00:00 (2/3): ceph-source/primary | 2.7 kB00:00:00 (3/3...

Centos RPM Build Shell SPEC FILE INSTRUCTIONS 一、概述 Rpm 包制作最重要的就是编写 .spec 脚本。 rpm 建包的原理其实并不复杂，可以理解为按照标准的格式整理一些信息，包括：软件基础信息，以及安装、卸载前后执行的脚本，对源码包解压、打补...

1.The RPM system assumes five RPM directories BUILD ： rpmbuild 编译软件的目录 RPMS ： rpmbuild 创建的 binary RPM 所存放的目录 SOURCES ：存放源代码的目录 SPEC ：存放 spec 文件的目录 SRPMS ： rpmbuild 创建的 source RPM 所存放的目录 2.rpm 调...

install 1.作用 install命令的作用是安装或升级软件或备份数据，它的使用权限是所有用户。 2.格式 (1)install [选项]... 来源 目的地 (2)install [选项]... 来源... 目录 (3)install －d [选项]... 目录... 在前两种格式中，会将复制至或将多个文件复制至已...

Source Insight 常用设置和快捷键大全 1.括号配对高亮： 在前括号左侧，后括号左侧 双击鼠标左键，可以选定匹配括号和其中内容(,(),L{R},[]之间) 2.让{ 和 } 不缩进： Options - Document Options - Auto Indenting - Auto Indent Type 选 Simple 还有：让{...

icfs-deploy 部署 使用说明 1 、 关于 icfs-deploy 的安装使用 1) 将 icfs-deploy.tar.gz 文件拷贝到 /root 目录下 , 并解压缩 2)cd /root/icfs-deploy/virtualenv/bin/ 3)cp icfs-deploy /usr/bin/ 4) 完成以上的步骤 , 就可以在任何的目录下使用 icfs-depl...

一、集群 1、启动一个ceph 进程 启动mon进程 service ceph start mon.node1 启动msd进程 service ceph start mds.node1 启动osd进程 service ceph start osd.0 2、查看机器的监控状态 [root@client ~]# ceph health HEALTH_OK 3、查看ceph的实时运行状态 [ro...

Centos RPM包制作说明 准备打包环境 1、centos系统下使用如下命令安装rpmbuild #yum install rpmbuild 2、rpmbuild的工作目录如下， ~/rpmbuild ~/rpmbuild/SOURCES ~/rpmbuild/SPECS ~/rpmbuild/BUILD ~/rpmbuild/RPMS ~/rpmbuild/SRPMS 3、如果你的用户目...

目录[-] 1、MapReduce实现矩阵相乘 2、MapReduce实现倒排索引 3、MapReduce实现复杂倒排索引 1、MapReduce实现矩阵相乘 一. 准备数据 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 #!/bin/bash if[$#-ne3] then echotheremustb...

目录[-] 1、启动hadoop工程 2、MapReduce统计文本单词数量 2、MapReduce排除文本重复数据 3、MapReduce实线文本数据的简单排序 4、MapReduce实线单表连接 1、启动hadoop工程 2、MapReduce统计文本单词数量 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19...

目录[-] 1、启动hadoop工程 2、eclipse导入插件 3、在Map/Reduce的窗口下建立连接（单机版） 4、创建工程，导入jar，配置文件 5、hadoop操作文件 1、启动hadoop工程 2、eclipse导入插件 将hadoop-eclipse-plugin-2.6.0.jar插件导入eclipse中，重启eclipse 3...

目录[-] 1、下载hadoop，解压 2、配置.bashrc文件 4、配置hadoop-env.sh文件 5、配置mapred-site.xml文件 6、配置core-site.xml文件 7、配置yarn-site.xml文件 8、配置hdfs-site.xml文件 9、设置面密码登录 10、格式化hadoop数据 10、启动hadoop 11、查看had...

一、项目要求 本文讨论的日志处理方法中的日志，仅指Web日志。其实并没有精确的定义，可能包括但不限于各种前端Web服务器apache、lighttpd、nginx、tomcat等产生的用户访问日志，以及各种Web应用程序自己输出的日志。 二、需求分析： KPI指标设计 PV(PageVie...

1/使用hadoop把双色球相邻的红球进行统计: 测试数据在:http://pan.baidu.com/s/1hq82YrU 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55...

基于Eclipse的Hadoop应用开发环境配置 我的开发环境： 操作系统centos5.5 一个namenode 两个datanode Hadoop版本：hadoop-0.20.203.0 Eclipse版本：eclipse-java-helios-SR2-linux-gtk.tar.gz(使用3.7的版本总是崩溃，让人郁闷) 第一步：先启动hadoop守护进...

前段时间自己的本机上搭的Hadoop环境（按文档的伪分布式），第一天还一切正常，后来发现每次重新开机以后都不能正常启动，在start-dfs.sh之后jps一下发现namenode不能正常启动，按提示找到logs目录下namenode的启动log发现如下异常 org.apache.hadoop.hdfs.s...

Hadoop Streaming是Hadoop提供的一个编程工具，它允许用户使用任何可执行文件或者脚本文件作为Mapper和Reducer，例如： 采用shell脚本语言中的一些命令作为mapper和reducer（cat作为mapper，wc作为reducer） 1 2 bin/hadoop jar contrib/streaming/hadoop-0....

Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。 Sqoop官方版本：http://apache.dataguru.cn/sqoop/1...

1/首先在官网下载hadoop文件，hadoop-0.23.6.tar.gz 2/系统下要安装jdk 我的系统jdk安装在：JAVA_HOME=/usr/lib/jvm/java-6-oracle 3/解压hadoop-0.23.6.tar.gz文件： 1 tar -xvzf hadoop-0.23.6.tar.gz 给文件设置所有者 1 #chown -R tianbx:tianbx title.tx...

把整个Hadoop看作是容器，那么Mapper和Reduce就是容器里的组件，*Context保存了组件的一些配置信息，同时也是和容器通信的机制。 参数 作用 缺省值 其它实现 InputFormat 将输入的数据集切割成小数据集InputSplits,每一个InputSplit将由一个Mapper负责处理。...

2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 8...