hadoop常用服务管理命令

这几天正好在做cdh4.6.0到cdh5.2.0的升级测试，经常需要启动/关闭各种服务，简单看了下各个服务管理脚本，这里简单记录下： 主要的服务管理脚本如下 hdfs相关 1）hadoop-daemon.sh，可用于启动单一的服务 依次调用hadoop-config.sh和hadoop-env.sh 加载相关...

如何构建日均千万PV Web站点 (一)

其实大多数互联网网站起初的网站架构都是(Linux+Apache+MySQL+PHP). 不过随着时代的发展，科技的进步.互联网进入寻常百姓家的生活。所谓的用户的需求，铸就了一个个互联网大牛；http://www.trueland.net/IndustryNews/gjszl.shtml 近日研究机构we are social...

LINUX 高可用群集之 Corosync

Corosync： 它属于OpenAIS(开放式应用接口规范)中的一个项目corosync一版本中本身不具 备投票功能，到了corosync 2.0之后引入了votequorum子系统也具备了投票功能了，如果我们用的是1版本的，又需要用到票数做决策时那该如何是好呢；当然，在红帽上把 cman +...

memcached的基础

memcached是什么？ memcached 是以LiveJournal 旗下Danga Interactive 公司的Brad Fitzpatric 为首开发的一款软件。现在已成为mixi、hatena、Facebook、Vox、LiveJournal等众多服务中提高Web应用扩展性的重要因素。许多Web应用都将数据保存到RDBMS中，应用服...

memcached的内存存储

Slab Allocation机制：整理内存以便重复使用 memcached默认情况下采用了名为Slab Allocator的机制分配、管理内存。在该机制出现以前，内存的分配是通过对所有记录简单地进行malloc和free来进行的。但是，这种方式会导致内存碎片，加重操作系统内存管理器的负...

memcached的删除机制LRU

Lazy Expiration memcached内部不会监视记录是否过期，而是在get时查看记录的时间戳，检查记录是否过期。这种技术被称为lazy（惰性）expiration。因此，memcached不会在过期监视上耗费CPU时间。 LRU：从缓存中有效删除数据的原理 memcached会优先使用已超时...

memcached的分布式算法--一致性hash

memcached的分布式是什么意思？ 下面假设memcached服务器有node1～node3三台，应用程序要保存键名为 tokyo、kanagawa、chiba、saitama、gunma的数据。 首先向memcached中添加tokyo。将tokyo传给客户端程序库后，客户端实现的算法就会根据键来决定保存数据的m...

Hadoop 2.5.1 集群安装配置

0. 服务说明 NameNode NameNode是HDFS的守护程序，负责记录文件是如何分割成数据块的，以及这些数据块被存储到哪些数据节点上。它的功能是对内存及I/O进行集中管理。 DataNode 集群中每个从服务器都运行一个DataNode后台程序，后台程序负责把HDFS数据块读写到...

Hadoop 2.2.0安装及配置

Pre-installation 保证所有主机上已经安装JDK 1.6+和ssh。 添加主机名到/etc/hosts 修改/etc/hosts 1 sudo vi /etc/hosts 添加 1 2 192.168.56.101 zhenlong-master 192.168.56.102 zhenlong-slave1 配置无密码的ssh连接 在所有主机上生成ssh的公钥和私钥 1...

全面讲述linux集群负载均衡

学习linux时，你可能会遇到linux集群的问题，这里将介绍linux集群负载均衡的方法，经过仔细整理，在这里拿出来和大家分享一下，希望本文能教会你更多东西。 集群原理 linux集群系统包括集群节点和集群管理器两部分。集群节点有时简称为节点、服务器或服务器...