当前位置: > 数据库 > MySQL >

将MySQL数据映射到Memcached中

时间:2015-03-09 22:39来源:www.it.net.cn 作者:IT

测试环境在Linux下进行,版本系统为CentOS5.
以下为相关软件,包括其版本和下载地址:

 

mysql-5.1.30 下载
memcached-1.2.6 下载
libevent-1.4.7-stable 下载
memcached_functions_mysql-1.1 下载
libmemcached-0.26 下载

 


编译安装MySQL,安装因个人细好而定,省略许多与测试无关的编译细节及参数。

 
  1. <SPAN>[</SPAN>root@localhost ~<SPAN>]</SPAN><SPAN>#tar xzf mysql-5.1.30.tar_001.gz</SPAN>  
  2. <SPAN>[</SPAN>root@localhost ~<SPAN>]</SPAN><SPAN>#cd mysql-5.1.30</SPAN>  
  3. <SPAN>[</SPAN>root@localhost ~<SPAN>]</SPAN><SPAN>#./configure --prefix=/usr/local/mysql51</SPAN>  
  4. <SPAN>[</SPAN>root@localhost ~<SPAN>]</SPAN><SPAN>#make</SPAN>  
  5. <SPAN>[</SPAN>root@localhost ~<SPAN>]</SPAN><SPAN>#make install</SPAN>  
  6. <SPAN>[</SPAN>root@localhost ~<SPAN>]</SPAN><SPAN>#./scripts/mysql_install_db --user=mysql --skip-name-resolve</SPAN>  
  7. <SPAN>[</SPAN>root@localhost ~<SPAN>]</SPAN><SPAN>#/usr/local/mysql51/bin/mysqld_safe</SPAN>  

省略列出安装memcached和libevent的相关命令,具体可按照实际情况安装,测试时我将libevent默认安装,memcached安装于/usr/local/memcached目录下。
启动memcached.

 
  1. <SPAN>/</SPAN>usr<SPAN>/</SPAN>local<SPAN>/</SPAN>memcached<SPAN>/</SPAN>bin<SPAN>/</SPAN>memcached <SPAN>-</SPAN>d <SPAN>-</SPAN>m <SPAN>50</SPAN> <SPAN>-</SPAN>u root <SPAN>-</SPAN>p <SPAN>11211</SPAN>  

编译安装libmemcache.

 
  1. <SPAN>[</SPAN>root@localhost ~<SPAN>]</SPAN><SPAN>#tar xzf libmemcached-0.26.tar.gz</SPAN>  
  2. <SPAN>[</SPAN>root@localhost ~<SPAN>]</SPAN><SPAN>#cd libmemcached-0.26</SPAN>  
  3. <SPAN>[</SPAN>root@localhost ~<SPAN>]</SPAN><SPAN>#./configure --with-memcached=/usr/local/memcached/bin/memcached</SPAN>  
  4. <SPAN>[</SPAN>root@localhost ~<SPAN>]</SPAN><SPAN># make && make install</SPAN>  

编译安装Memcache UDFs for MySQL.

 
  1. <SPAN>[</SPAN>root@localhost ~<SPAN>]</SPAN><SPAN># tar xzf memcached_functions_mysql-1.1.tar.gz</SPAN>  
  2. <SPAN>[</SPAN>root@localhost ~<SPAN>]</SPAN><SPAN># cd memcached_functions_mysql-1.1</SPAN>  
  3. <SPAN>[</SPAN>root@localhost ~<SPAN>]</SPAN><SPAN># ./configure --with-mysql-config=/usr/local/mysql51/bin/mysql_config</SPAN>  
  4. <SPAN>[</SPAN>root@localhost ~<SPAN>]</SPAN><SPAN># make && make install</SPAN>  

编译完成后将编译好的库文件复制到mysql的插件目录下,以便于加载使用。

 
  1. cp <SPAN>/</SPAN>usr<SPAN>/</SPAN>local<SPAN>/</SPAN>lib<SPAN>/</SPAN>libmemcached_functions_mysql<SPAN>*</SPAN> <SPAN>/</SPAN>usr<SPAN>/</SPAN>local<SPAN>/</SPAN>mysql51<SPAN>/</SPAN>lib<SPAN>/</SPAN>mysql<SPAN>/</SPAN>plugin<SPAN>/</SPAN>  

进入memcached_functions_mysql的源码目录,在目录下有相关添加UDF的SQL文件用于初始化。

 

在mysql的shell中执行memcached_functions_mysql源码目录下的sql/install_functions.sql
或者运行memcached_functions_mysql源码目录下utils/install.pl这个perl脚本,把memcache function作为UDF加入mysql。

 

[root@localhost ~]# mysql <sql/install_functions.sql

 

检查安装是否成功


mysql> select name,dl from mysql.func;

 

 

二. 测试用例设计情况:

(1).新建两张表:urls和results,用来更新urls表里面的内容,让系统自动更新memcached的内容。results用来记录更新memcached失败的记录。
sql语句如下:
use tests;
drop table if exists urls;
CREATE TABLE `urls` (
  `id` int(10) NOT NULL,
  `url` varchar(255) NOT NULL DEFAULT '',
  PRIMARY KEY (`id`)
);

drop table if exists results;
CREATE TABLE `results` (
  `id` int(10) NOT NULL,
  `result` varchar(255) NOT NULL DEFAULT 'error',
  `time` timestamp NULL DEFAULT CURRENT_TIMESTAMP,
  PRIMARY KEY (`id`)
);


(2). 建立三个trigger.

当向urls表里面插入数据时,对memcached执行set操作,trigger如下:
DELIMITER //
DROP TRIGGER IF EXISTS url_mem_insert;
CREATE TRIGGER url_mem_insert
BEFORE INSERT ON urls
FOR EACH ROW BEGIN
    set @mm = memc_set(NEW.id, NEW.url);
    if @mm <> 0 then
    insert into results(id) values(NEW.id);
    end if;

END //
DELIMITER ;


当对urls表里面的数据进行更新时,对memcached执行replace操作,trigger如下:

DELIMITER //
DROP TRIGGER IF EXISTS url_mem_update;
CREATE TRIGGER url_mem_update
BEFORE UPDATE ON urls
FOR EACH ROW BEGIN
    set @mm = memc_replace(OLD.id,NEW.url);
    if @mm <> 0 then
    insert into results(id) values(OLD.id);
    end if;

END //
DELIMITER ;


当对urls表里面的数据进行删除操作时,对memcached执行delete操作,trigger如下:

DELIMITER //
DROP TRIGGER IF EXISTS url_mem_delete;
CREATE TRIGGER url_mem_delete
BEFORE DELETE ON urls
FOR EACH ROW BEGIN
    set @mm = memc_delete(OLD.ID);
    if @mm <> 0 then
    insert into results(id) values(OLD.id);
    end if;

END //
DELIMITER ;


(3). 设置memcached相关参数

设置同时UDF操作的memcaced的机器IP和端口:

mysql> SELECT memc_servers_set('192.168.3.184:11900');
+---------------------------------------+
| memc_servers_set('192.168.3.184:11900') |
+---------------------------------------+
|                                     0 |
+---------------------------------------+
1 row in set (0.00 sec)


mysql> select memc_server_count();
+---------------------+
| memc_server_count() |
+---------------------+
|                   1 |
+---------------------+
1 row in set (0.00 sec)


在mysql命令行列出可以修改memcached参数的行为:
mysql> select memc_list_behaviors()/G
*************************** 1. row ***************************
memc_list_behaviors():
MEMCACHED SERVER BEHAVIORS
MEMCACHED_BEHAVIOR_SUPPORT_CAS
MEMCACHED_BEHAVIOR_NO_BLOCK
MEMCACHED_BEHAVIOR_TCP_NODELAY
MEMCACHED_BEHAVIOR_HASH
MEMCACHED_BEHAVIOR_CACHE_LOOKUPS
MEMCACHED_BEHAVIOR_SOCKET_SEND_SIZE
MEMCACHED_BEHAVIOR_SOCKET_RECV_SIZE
MEMCACHED_BEHAVIOR_BUFFER_REQUESTS
MEMCACHED_BEHAVIOR_KETAMA
MEMCACHED_BEHAVIOR_POLL_TIMEOUT
MEMCACHED_BEHAVIOR_RETRY_TIMEOUT
MEMCACHED_BEHAVIOR_DISTRIBUTION
MEMCACHED_BEHAVIOR_BUFFER_REQUESTS
MEMCACHED_BEHAVIOR_USER_DATA
MEMCACHED_BEHAVIOR_SORT_HOSTS
MEMCACHED_BEHAVIOR_VERIFY_KEY
MEMCACHED_BEHAVIOR_CONNECT_TIMEOUT
MEMCACHED_BEHAVIOR_KETAMA_WEIGHTED
MEMCACHED_BEHAVIOR_KETAMA_HASH
MEMCACHED_BEHAVIOR_BINARY_PROTOCOL
MEMCACHED_BEHAVIOR_SND_TIMEOUT
MEMCACHED_BEHAVIOR_RCV_TIMEOUT
MEMCACHED_BEHAVIOR_SERVER_FAILURE_LIMIT
MEMCACHED_BEHAVIOR_IO_MSG_WATERMARK
MEMCACHED_BEHAVIOR_IO_BYTES_WATERMARK

1 row in set (0.00 sec)


设置MEMCACHED_BEHAVIOR_NO_BLOCK为打开状态,这样在memcached出现问题时(不能连接时)
数据继续插入到mysql中,报错提示,如果不设置此值,如果memcached失败,mysql需要等到timeout
才可以插入到表中。
mysql> select memc_servers_behavior_set('MEMCACHED_BEHAVIOR_NO_BLOCK','1');
+--------------------------------------------------------------+
| memc_servers_behavior_set('MEMCACHED_BEHAVIOR_NO_BLOCK','1') |
+--------------------------------------------------------------+
|                                                            0 |
+--------------------------------------------------------------+
1 row in set (0.00 sec)

 

mysql> select memc_servers_behavior_set('MEMCACHED_BEHAVIOR_TCP_NODELAY','1');
+-----------------------------------------------------------------+
| memc_servers_behavior_set('MEMCACHED_BEHAVIOR_TCP_NODELAY','1') |
+-----------------------------------------------------------------+
|                                                               0 |
+-----------------------------------------------------------------+
1 row in set (0.00 sec)

 


三. 简单的功能测试:


1. 向表urls里面插入数据,然后查memcached是否也set进数据:

mysql> insert into urls (id,url) values (1, 'http://www.sina.com.cn');
Query OK, 1 row affected, 1 warning (0.00 sec)

mysql> select memc_get('1');  
+------------------------+
| memc_get('1')          |
+------------------------+
| http://www.sina.com.cn |
+------------------------+
1 row in set (0.00 sec)


1> telnet 192.168.3.184 11900
Trying 192.168.3.184...
Connected to 192.168.3.184 (192.168.3.184).
Escape character is '^]'.
get 1
VALUE 1 0 22
http://www.sina.com.cn
END


2.更新表urls里面的数据,然后查询memcached里面是否也更新:
mysql> update test.urls set url='http://blog.sina.com.cn' where id=1;
Query OK, 1 row affected, 1 warning (0.00 sec)
Rows matched: 1  Changed: 1  Warnings: 0


mysql> select memc_replace('1','http://blog.sina.com.cn'); 
+---------------------------------------------+
| memc_replace('1','http://blog.sina.com.cn') |
+---------------------------------------------+
|                                           0 |
+---------------------------------------------+
1 row in set (0.00 sec)

mysql> select memc_get('1');  
+-------------------------+
| memc_get('1')           |
+-------------------------+
| http://blog.sina.com.cn |
+-------------------------+
1 row in set (0.00 sec)


1> telnet 192.168.3.184 11900
Trying 192.168.3.184...
Connected to 192.168.3.184 (192.168.3.184).
Escape character is '^]'.
get 1
VALUE 1 0 23
http://blog.sina.com.cn
END


3.删除表urls里面的数据,然后查memcached是否也删除:
mysql> delete from test.urls where id=1;
Query OK, 1 row affected, 1 warning (0.00 sec)
Rows matched: 1  Changed: 1  Warnings: 0

mysql> select memc_get('1');  
+---------------+
| memc_get('1') |
+---------------+
| NULL          |
+---------------+
1 row in set (0.00 sec)


1> telnet 192.168.3.184 11900
Trying 192.168.3.184...
Connected to 192.168.3.184 (192.168.3.184).
Escape character is '^]'.
get 1
END

 

 

四. 利用php脚本insert, update,delete表urls里面的数据,进行测试。

每条记录的平均长度是:17K

单独向表urls里面插入10万条记录需要的时间为:75秒
单独对表urls里面更新10万条记录需要的时间为:70秒
单独对表urls里面删除10万条记录需要的时间为:105秒

同时进行30万数据的insert,update, delete操作需要时间为:241秒

上面操作都没有memcached失败情况:
mysql> select * from results;
Empty set (0.00 sec)


测试脚本如下:

插入脚本:
0> more a.php
<?php

$conn = mysql_connect("192.168.1.61","test","test") or die(mysql_error());

mysql_select_db("test",$conn) or die(mysql_error());

//$sql = "show tables";

echo date("Y-m-d H:i:s");
//mysql_query($sql) or die(mysql_error()); 

for ($i=1; $i<=100000; $i++) {
$sql="insert into urls (id,url) values ($i, 'http://$i$i$i$i$i$i$i$i$i$i$i$i$i$i$i$i$i$i$i$i$i$i$i$i$i.com');";
mysql_query($sql) or die(mysql_error()); 
}

echo "/n";
echo date("Y-m-d H:i:s");

?>

更新脚本:
0> more b.php
<?php

$conn = mysql_connect("192.168.1.61","test","test") or die(mysql_error());

mysql_select_db("test",$conn) or die(mysql_error());

//$sql = "show tables";

echo date("Y-m-d H:i:s");
//mysql_query($sql) or die(mysql_error()); 

for ($i=1; $i<=100000; $i++) {
$sql="update test.urls set url='http://xxxx.$i$i$i$i$i$i$i$i$i$i$i$i$i$i$i$i$i$i$i$i$i$i$i$i$i$i$i.com' where id=$i;";
mysql_query($sql) or die(mysql_error()); 
}

echo "/n";
echo date("Y-m-d H:i:s");

?>

删除脚本:
0> more c.php
<?php

$conn = mysql_connect("192.168.1.61","test","test") or die(mysql_error());

mysql_select_db("test",$conn) or die(mysql_error());

//$sql = "show tables";

echo date("Y-m-d H:i:s");
//mysql_query($sql) or die(mysql_error()); 

for ($i=1; $i<=100000; $i++) {
$sql="delete from test.urls where id=$i;";
mysql_query($sql) or die(mysql_error()); 
}

echo "/n";
echo date("Y-m-d H:i:s");

?>

 


五. 结论:
测试依赖的环境比较多,可能数据会不准确。整体来看速度还不错。
适合项目应用相对比较小的场合。

优点:
触发器中使用 UDFs 直接更新 Memcached 的内容,减轻了应用程序设计和编写的复杂性。

缺点:
1. 如果出现mysql服务重启,需要重新设置连接memcached关系(SELECT memc_servers_set('192.168.3.184:11900'))
2. 有可能存在bug问题,导致mysql的crash(测试时没遇到:)).


真正的线上环境比这个复杂很多。我想到的需要考虑的问题:
1. 网络因素,mysql和memcached是否放在同一IDC,他们之间的网络性能是否很好。网络性能越好,速度肯定越快,如果使用本机的memcached能适当的减少网络开销。
2. 插入的数据量,向mysql插入每条记录的size,以及向memcached里面更新的数据size大小。更新mysql,memcached的数据size越大,更新的速度越慢。
所以前期规划好,在memcached里面存那两列(key-value)是关键。
3. 延时问题需要考虑,mysql所在机器如果资源使用比较狠,会导致更新memcached慢(出现类似m/s的延时问题)。
4. 考虑容灾问题,如果两者中有down出现时,需要考虑怎么恢复,当前的测试是这样考虑的:建一张错误表,如果在出现更新mc出现问题时,自动把更新错误的记录插到
一张表里面,通过查这张表,可以知道哪些数据在什么时间更新错误,如果应用于生产环境,需要考虑监控和出现问题时恢复工作(写好脚本完善这个工作)。
5. mysql自身因素,例如执行的mysql语句效率,以及连接mysql的client程序(php)的连接开销等等。

 

 

参考

http://blog.sina.com.cn/s/blog_499740cb0100g45p.html

http://www.libing.name/2009/02/06/mysql-map-data-to-memcached.html


(责任编辑:IT)
------分隔线----------------------------
栏目列表
推荐内容