memcached的基础

memcached是什么？ memcached 是以LiveJournal 旗下Danga Interactive 公司的Brad Fitzpatric 为首开发的一款软件。现在已成为mixi、hatena、Facebook、Vox、LiveJournal等众多服务中提高Web应用扩展性的重要因素。许多Web应用都将数据保存到RDBMS中，应用服...

memcached的内存存储

Slab Allocation机制：整理内存以便重复使用 memcached默认情况下采用了名为Slab Allocator的机制分配、管理内存。在该机制出现以前，内存的分配是通过对所有记录简单地进行malloc和free来进行的。但是，这种方式会导致内存碎片，加重操作系统内存管理器的负...

memcached的删除机制LRU

Lazy Expiration memcached内部不会监视记录是否过期，而是在get时查看记录的时间戳，检查记录是否过期。这种技术被称为lazy（惰性）expiration。因此，memcached不会在过期监视上耗费CPU时间。 LRU：从缓存中有效删除数据的原理 memcached会优先使用已超时...

memcached的分布式算法--一致性hash

memcached的分布式是什么意思？ 下面假设memcached服务器有node1～node3三台，应用程序要保存键名为 tokyo、kanagawa、chiba、saitama、gunma的数据。 首先向memcached中添加tokyo。将tokyo传给客户端程序库后，客户端实现的算法就会根据键来决定保存数据的m...

Hadoop 2.5.1 集群安装配置

0. 服务说明 NameNode NameNode是HDFS的守护程序，负责记录文件是如何分割成数据块的，以及这些数据块被存储到哪些数据节点上。它的功能是对内存及I/O进行集中管理。 DataNode 集群中每个从服务器都运行一个DataNode后台程序，后台程序负责把HDFS数据块读写到...

Hadoop 2.2.0安装及配置

Pre-installation 保证所有主机上已经安装JDK 1.6+和ssh。 添加主机名到/etc/hosts 修改/etc/hosts 1 sudo vi /etc/hosts 添加 1 2 192.168.56.101 zhenlong-master 192.168.56.102 zhenlong-slave1 配置无密码的ssh连接 在所有主机上生成ssh的公钥和私钥 1...

全面讲述linux集群负载均衡

学习linux时，你可能会遇到linux集群的问题，这里将介绍linux集群负载均衡的方法，经过仔细整理，在这里拿出来和大家分享一下，希望本文能教会你更多东西。 集群原理 linux集群系统包括集群节点和集群管理器两部分。集群节点有时简称为节点、服务器或服务器...

Centos 6.5 下Hadoop 1.2.1单节点环境的创建

安装以及配置Java JDK安装 #chmod 777 jre-6u31-linux-x64-rpm.bin #./jre-6u31-linux-x64-rpm.bin 添加java环境变量 #vim /etc/profile #最后添加 # set java environment export JAVA_HOME=/usr/java/jre1.6.0_31 export CLASSPATH=.:$JAVA_HOME/jre/lib/r...

使用SLB合并阿里云带宽 - 降低成本

阿里云的带宽屎贵屎贵的，尤其是5M以上，买10M带宽的成本，远高于购买2台5M的成本。所以，小夜想出一个办法，使用SLB来集成带宽，达到，买2台5M当1台10M来用，最大程度的节省一部分成本，如果你是公司运营、或不差钱的高富帅，可直接略过了 所谓的SLB（负载...

Hadoop-2.4.1学习之Mapper和Reducer

MapReduce允许程序员能够容易地编写并行运行在大规模集群上处理大量数据的程序，确保程序的运行稳定可靠和具有容错处理能力。程序员编写的运行在MapReduce上的应用程序称为作业（job），Hadoop既支持用Java编写的job，也支持其它语言编写的作业，比如Hadoop...