当前位置: > CentOS > CentOS教程 >

centos下mysql集群初尝试

时间:2014-03-07 20:52来源:linux.it.net.cn 作者:IT网

五台服务器篇

安装要求

安装环境:CentOS-6.3
安装方式:源码编译安装
软件名称:mysql-cluster-gpl-7.2.6-linux2.6-x86_64.tar.gz
下载地址:http://mysql.mirror.kangaroot.net/Downloads/
软件安装位置:/usr/local/mysql
数据存放位置:/var/mysql/data
日志存放位置:/var/mysql/logs

集群设计

首先设计集群的安装分配方式,我共需要5台服务器,服务器分配如下:
管理节点:    192.168.15.231
sql节点1:   192.168.15.232
sql节点2:   192.168.15.233
数据节点1:  192.168.15.234
数据节点2:  192.168.15.235
设备的连接方式如下图所示:

注意: 目前这种设计存在的问题是管理节点是单点的,231挂掉后整个集群就会瘫痪,先不管这个问题,首先把这个简单的MySQL集群先搭建起来。

检查安装的mysql

检查系统中已经安装过的mysql信息,操作如下:

[root@localhost /]# rpm -qa | grep mysql
[root@localhost /]# service mysql status

如果安装过其他版本的mysql,请卸载,操作如下:

[root@localhost /]# /etc/init.d/mysqld    stop  //关闭目前的mysql服务
[root@localhost /]# ps    -ef | grep mysql  //检验mysql是否已经关闭
#如果没关闭,执行kill -9 端口号
#执行删除
rpm -e --allmatches    --nodeps mysql mysql-server
rm -rf /var/lib/mysql  // 删除mysql的安装目录

管理节点

管理节点安装

安装管理节点(192.168.15.231)

[root@localhost /]#    groupadd mysql
[root@localhost /]#  useradd mysql -g mysql
[root@localhost /]# cd    /usr/local
[root@localhost local]#    tar -zxv -f mysql-cluster-gpl-7.2.6-linux2.6-x86_64.tar.gz
[root@localhost local]#    mv mysql-cluster-gpl-7.2.6-linux2.6-x86_64 mysql
[root@localhost local]#    chown -R mysql:mysql mysql
[root@localhost local]#    cd mysql
[root@localhost mysql]#    scripts/mysql_install_db --user=mysql

管理节点配置

[root@localhost ~]#  mkdir /var/lib/mysql-cluster
[root@localhost ~]# cd    /var/lib/mysql-cluster
[root@localhost mysql-cluster]#    vi + /var/lib/mysql-cluster/config.ini

在config.ini 中添加以下内容:

[NDBD DEFAULT]
NoOfReplicas=1
[TCP DEFAULT]
portnumber=3306
[NDB_MGMD]
#设置管理节点服务器
HostName=192.168.15.231
DataDir=/var/mysql/data
[NDBD]
#设置存储节点服务器(NDB节点)
HostName=192.168.15.234
DataDir=/var/mysql/data
[NDBD]
#第二个NDB节点
HostName=192.168.15.235
DataDir=/var/mysql/data
[MYSQLD]
#设置SQL节点服务器
HostName=192.168.15.232
[MYSQLD]
#第二个SQL节点
HostName=192.168.15.233

管理节点启动

[root@localhost ~]#/usr/local/mysql/bin/ndb_mgmd -f /var/lib/mysql-cluster/config.ini
[root@localhost ~]# mkdir  /var/mysql/logs
[root@localhost ~]# netstat -lntpu

看到tcp 0 0 0.0.0.0:1186开放说明启动正常
开启管理节点服务器的1186端口

管理节点检验

执行以下操作:

[root@localhost /]# ndb_mgm     // 管理节点
-- NDB Cluster -- Management Client --
ndb_mgm> show
Connected to Management Server at:    localhost:1186
Cluster Configuration
---------------------
[ndbd(NDB)]        2 node(s)
id=2 (not connected, accepting connect from    192.168.15.234)
id=3 (not connected, accepting connect from    192.168.15.235)

[ndb_mgmd(MGM)] 1 node(s)
id=1       @192.168.15.231  (mysql-5.5.22    ndb-7.2.6)

[mysqld(API)]      2 node(s)
id=4 (not connected, accepting connect from    192.168.15.232)
id=5 (not connected, accepting connect from    192.168.15.233)

管理节点关闭

[root@localhost /]#    /usr/local/mysql/bin/ndb_mgm -e shutdown
#成功后终端打印出以下信息
Connected to Management    Server at: 192.168.15.236:1186
3 NDB Cluster node(s)    have shutdown.
Disconnecting to allow    management server to shutdown.

数据节点

数据节点安装

数据节点1: 192.168.15.234
数据节点2: 192.168.15.235

[root@localhost /]#    groupadd mysql
[root@localhost /]#    useradd mysql -g mysql
[root@localhost /]# cd    /usr/local
[root@localhost local]#    tar -zxv -f mysql-cluster-gpl-7.2.6-linux2.6-x86_64.tar.gz
[root@localhost local]#    mv mysql-cluster-gpl-7.2.6-linux2.6-x86_64 mysql
[root@localhost local]#    chown -R mysql:mysql mysql
[root@localhost local]#    cd mysql
[root@localhost mysql]#    scripts/mysql_install_db --user=mysql
[root@localhost mysql]#    cp support-files/my-medium.cnf /etc/my.cnf
[root@localhost mysql]#    cp support-files/mysql.server /etc/init.d/mysqld

数据节点配置

对数据节点进行配置,执行以下操作:

[root@localhost mysql]#    mkdir /var/mysql/data
[root@localhost mysql]#    mkdir /var/mysql/logs
[root@localhost mysql]#    vi /etc/my.cnf

向文件追加以下内容:

[MYSQLD]
ndbcluster
ndb-connectstring=192.168.15.231
[MYSQL_CLUSTER]
ndb-connectstring=192.168.15.231
[NDB_MGM]
connect-string=192.168.15.231

数据节点启动

启动此处时,管理节点服务器防火墙必须开启1186,3306端口。
注意: 只是在第一次启动或在备份/恢复或配置变化后重启ndbd时,才加–initial参数!
第一次启动如下:

[root@localhost mysql]#/usr/local/mysql/bin/ndbd --initial
2013-01-30 13:43:53    [ndbd] INFO     -- Angel connected to    '192.168.15.231:1186'
2013-01-30 13:43:53    [ndbd] INFO     -- Angel allocated    nodeid: 2

正常启动方式:

[root@localhost mysql]# /usr/local/mysql/bin/ndbd

数据节点关闭

[root@localhost /]# /etc/rc.d/init.d/mysqld stop
或者
[root@localhost mysql]# /etc/init.d/mysql stop
Shutting down MySQL.. SUCCESS!
/usr/local/mysql/bin/mysqladmin -uroot shutdown

SQL节点安装

SQL节点安装

SQL节点和存储节点(NDB节点)安装相同,都执行以下操作;
sql节点1: 192.168.15.232
sql节点2: 192.168.15.233

[root@localhost /]#    groupadd mysql
[root@localhost /]#    useradd mysql -g mysql
[root@localhost /]# cd    /usr/local
[root@localhost local]#    tar -zxv -f mysql-cluster-gpl-7.2.6-linux2.6-x86_64.tar.gz
[root@localhost local]#    mv mysql-cluster-gpl-7.2.6-linux2.6-x86_64 mysql
[root@localhost local]# chown    -R mysql:mysql mysql
[root@localhost local]#    cd mysql
[root@localhost mysql]#    scripts/mysql_install_db --user=mysql
[root@localhost mysql]#    cp support-files/my-medium.cnf /etc/my.cnf
[root@localhost mysql]#    cp support-files/mysql.server /etc/init.d/mysqld

SQL节点配置

执行以下操作:

[root@localhost mysql]#    mkdir /var/mysql/data     //创建存储数据的文件夹
[root@localhost mysql]#    mkdir /var/mysql/logs     //创建存储日志的文件夹
[root@localhost mysql]#    vi /usr/local/mysql/my.cnf  //修改配置文件

追加以下内容:

[MYSQLD]
ndbcluster
ndb-connectstring=192.168.15.231
[MYSQL_CLUSTER]
ndb-connectstring=192.168.15.231
[NDB_MGM]
connect-string=192.168.15.231

SQL节点启动

执行以下操作:

[root@localhost    mysql]# service mysqld start
Starting    MySQL.. SUCCESS!

SQL节点关闭

最直接的方式:

[root@localhost mysql]# /usr/local/mysql/bin/mysqladmin    -uroot shutdown
[root@localhost /]# /etc/rc.d/init.d/mysqld stop
或者
[root@localhost mysql]# /etc/init.d/mysql stop
Shutting down MySQL.. SUCCESS!

功能测试

在管理节点(192.168.15.231)上查看服务状态

[root@localhost ~]#    /usr/local/mysql/bin/ndb_mgm

-- NDB Cluster -- Management Client --
ndb_mgm> show
Cluster Configuration
---------------------
[ndbd(NDB)]        2 node(s)
id=2       @192.168.15.234  (mysql-5.5.22    ndb-7.2.6, Nodegroup: 0, Master)
id=3       @192.168.15.235  (mysql-5.5.22    ndb-7.2.6, Nodegroup: 1)

[ndb_mgmd(MGM)] 1 node(s)
id=1       @192.168.15.231  (mysql-5.5.22    ndb-7.2.6)

[mysqld(API)]      2 node(s)
id=4       @192.168.15.232  (mysql-5.5.22    ndb-7.2.6)
id=5       @192.168.15.233  (mysql-5.5.22    ndb-7.2.6)

可以看到这里的数据节点、管理节点、sql节点都是正常的。
注意

  1. 在建表的时候一定要用ENGINE=NDB或ENGINE=NDBCLUSTER指定使用NDB集群存储引擎,或用ALTER TABLE选项更改表的存储引擎。
  2. NDB表必须有一个主键,因此创建表的时候必须定义主键,否则NDB存储引擎将自动生成隐含的主键。
  3. Sql节点的用户权限表仍然采用MYISAM存储引擎保存的,所以在一个Sql节点创建的MySql用户只能访问这个节点,如果要用同样的用户访 问别的Sql节点,需要在对应的Sql节点追加用户。虽然在MySql Cluster7.2版本开始提供了”用户权限共享”。

数据同步性测试

在一个数据节点上进行相关数据库的创建,然后到另外一个数据节点上看看数据是否同步。

第1步:

SQL节点1(192.168.15.232)上增加数据:

[root@localhost    mysql]#  /etc/rc.d/init.d/mysqld status                //检验mysql是否运行
[root@localhost mysql]#    /etc/rc.d/init.d/mysqld start                   //启动mysql
[root@localhost mysql]#    /usr/local/mysql/bin/mysql -u root -p
Enter password:
mysql> show databases;
mysql> create database    testdb2;
mysql> use testdb2;
mysql> CREATE TABLE    td_test2 (i INT) ENGINE=NDB;
//这里必须指定数据库表的引擎为NDBCLUSTER,与配置文件中的名称相同
mysql> INSERT INTO    td_test2() VALUES (1);
mysql> INSERT INTO    td_test2() VALUES (152);
mysql> SELECT * FROM    td_test2;
第2步:

进入到SQL节点2(192.168.15.233)上查看数据

mysql> use testdb2;
Database changed
mysql> SELECT * FROM td_test2;
+------+
| i    |
+------+
|  126 |
|    1 |
+------+
2 rows in set (0.01 sec)

查看表的引擎是不是NDB:

>show create table td_test2;
第3步:

反向测试,SQL节点2(192.168.15.233)上增加数据:

mysql> create database    bb;
mysql> use bb;
mysql> CREATE TABLE    td_test3 (i INT) ENGINE=NDB;
mysql> INSERT INTO    td_test3 () VALUES (98);
mysql> SELECT * FROM    td_test3;

SQL节点1(192.168.15.232)上查看数据:

mysql>  use bb;
Database changed
mysql>  SELECT * FROM td_test3;
+------+
| i    |
+------+
|   98 |
+------+
1 row in set (0.00 sec)

关闭集群

先关闭管理节点,然后关闭SQL节点和数据节点。

集群启动操作顺序

要再次启动集群,按照以下顺序执行:
管理节点 -> 数据节点 –> SQL节点注意:此次启动数据节点时不要加”–initial”参数。 

安装及测试中的错误

启动中的错误

错误提示:
Can't connect to local MySQL server through socket '/tmp/mysql.sock' (2)
解决办法 1 (端口占用) netstat -anp |grep 3306
kill -9 进程号
解决办法 1 (权限问题) [root@localhost mysql]# chown -R mysql:mysql /var/mysql          //修改自定义文件夹的访问权限

三台服务器篇

一、介绍

========
这篇文档旨在介绍如何安装配置基于2台服务器的MySQL集群。并且实现任意一台服务器出现问题或宕机时MySQL依然能够继续运行。
注意!
虽 然这是基于2台服务器的MySQL集群,但也必须有额外的第三台服务器作为管理节点,但这台服务器可以在集群启动完成后关闭。同时需要注意的是 并不推荐在集群启动完成后关闭作为管理节点的服务器。尽管理论上可以建立基于只有2台服务器的MySQL集群,但是这样的架构,一旦一台服务器宕机之后集 群就无法继续正常工作了,这样也就失去了集群的意义了。出于这个原因,就需要有第三台服务器作为管理节点运行。
另外,可能很多朋友都没有3台服务器的实际环境,可以考虑在VMWare或其他虚拟机中进行实验。
下面假设这3台服务的情况: 
Server1: mysql1.vmtest.net 192.168.0.1 

Server2: mysql2.vmtest.net 192.168.0.2 

Server3: mysql3.vmtest.net 192.168.0.3 
Servers1 和Server2作为实际配置MySQL集群的服务器。对于作为管理节点的Server3则要求较低,只需对Server3的系 统进行很小的调整并且无需安装MySQL,Server3可以使用一台配置较低的计算机并且可以在Server3同时运行其他服务。
二、在Server1和Server2上安装MySQL
=================================
从http://www.mysql.com上下载mysql-max-4.1.9-pc-linux-gnu-i686.tar.gz
注意:必须是max版本的MySQL,Standard版本不支持集群部署!
以下步骤需要在Server1和Server2上各做一次
# mv mysql-max-4.1.9-pc-linux-gnu-i686.tar.gz /usr/local/
# cd /usr/local/
# groupadd mysql
# useradd -g mysql mysql
# tar -zxvf mysql-max-4.1.9-pc-linux-gnu-i686.tar.gz 
# rm -f mysql-max-4.1.9-pc-linux-gnu-i686.tar.gz 
# mv mysql-max-4.1.9-pc-linux-gnu-i686 mysql
# cd mysql 
# scripts/mysql_install_db --user=mysql 
# chown -R root  .
# chown -R mysql data
# chgrp -R mysql . 
# cp support-files/mysql.server /etc/rc.d/init.d/mysqld
# chmod +x /etc/rc.d/init.d/mysqld
# chkconfig --add mysqld
此时不要启动MySQL!
三、安装并配置管理节点服务器(Server3)
=====================================
作为管理节点服务器,Server3需要ndb_mgm和ndb_mgmd两个文件:
从http://www.mysql.com上下载mysql-max-4.1.9-pc-linux-gnu-i686.tar.gz
# mkdir /usr/src/mysql-mgm 
# cd /usr/src/mysql-mgm 
# tar -zxvf mysql-max-4.1.9-pc-linux-gnu-i686.tar.gz
# rm mysql-max-4.1.9-pc-linux-gnu-i686.tar.gz
# cd mysql-max-4.1.9-pc-linux-gnu-i686
# mv bin/ndb_mgm .
# mv bin/ndb_mgmd .
# chmod +x ndb_mg* 
# mv ndb_mg* /usr/bin/
# cd 
# rm -rf /usr/src/mysql-mgm
现在开始为这台管理节点服务器建立配置文件:
# mkdir /var/lib/mysql-cluster
# cd /var/lib/mysql-cluster
# vi config.ini
在config.ini中添加如下内容:
[NDBD DEFAULT]
NoOfReplicas=2 
[MYSQLD DEFAULT] 
[NDB_MGMD DEFAULT] 
[TCP DEFAULT]
# Managment Server
[NDB_MGMD]
HostName=192.168.0.3 #管理节点服务器Server3的IP地址
# Storage Engines 
[NDBD] 
HostName=192.168.0.1 #MySQL集群Server1的IP地址 
DataDir= /var/lib/mysql-cluster
[NDBD]
HostName=192.168.0.2 #MySQL集群Server2的IP地址
DataDir=/var/lib/mysql-cluster
# 以下2个[MYSQLD]可以填写Server1和Server2的主机名。
# 但为了能够更快的更换集群中的服务器,推荐留空,否则更换服务器后必须对这个配置进行更改。 
[MYSQLD] 
[MYSQLD]
保存退出后,启动管理节点服务器Server3:
# ndb_mgmd
启动管理节点后应该注意,这只是管理节点服务,并不是管理终端。因而你看不到任何关于启动后的输出信息。
四、配置集群服务器并启动MySQL
=============================
在Server1和Server2中都需要进行如下改动:
# vi /etc/my.cnf 
[mysqld]
ndbcluster
ndb-connectstring=192.168.0.3 #Server3的IP地址
[mysql_cluster]
ndb-connectstring=192.168.0.3 #Server3的IP地址
保存退出后,建立数据目录并启动MySQL:
# mkdir /var/lib/mysql-cluster
# cd /var/lib/mysql-cluster
# /usr/local/mysql/bin/ndbd --initial
# /etc/rc.d/init.d/mysqld start
可以把/usr/local/mysql/bin/ndbd加到/etc/rc.local中实现开机启动。
注意:只有在第一次启动ndbd时或者对Server3的config.ini进行改动后才需要使用--initial参数!
五、检查工作状态
================
回到管理节点服务器Server3上,并启动管理终端:
# /usr/bin/ndb_mgm
键入show命令查看当前工作状态:(下面是一个状态输出示例)
[root@mysql3 root]# /usr/bin/ndb_mgm
-- NDB Cluster -- Management Client --
ndb_mgm> show
Connected to Management Server at: localhost:1186
Cluster Configuration
--------------------- 
[ndbd(NDB)]     2 node(s) 
id=2    @192.168.0.1  (Version: 4.1.9, Nodegroup: 0, Master) 
id=3    @192.168.0.2  (Version: 4.1.9, Nodegroup: 0) 

[ndb_mgmd(MGM)] 1 node(s)
id=1    @192.168.0.3  (Version: 4.1.9)

[mysqld(API)]   2 node(s)
id=4   (Version: 4.1.9)
id=5   (Version: 4.1.9)

ndb_mgm>
如果上面没有问题,现在开始测试MySQL:
注意,这篇文档对于MySQL并没有设置root密码,推荐你自己设置Server1和Server2的MySQL root密码。
在Server1中:
# /usr/local/mysql/bin/mysql -u root -p
> use test;
> CREATE TABLE ctest (i INT) ENGINE=NDBCLUSTER;
> INSERT INTO ctest () VALUES (1);
> SELECT * FROM ctest;
应该可以看到1 row returned信息(返回数值1)。
如果上述正常,则换到Server2上重复上面的测试,观察效果。如果成功,则在Server2中执行INSERT再换回到Server1观察是否工作正常。
如果都没有问题,那么恭喜成功!
六、破坏性测试
==============
将Server1或Server2的网线拔掉,观察另外一台集群服务器工作是否正常(可以使用SELECT查询测试)。测试完毕后,重新插入网线即可。
如果你接触不到物理服务器,也就是说不能拔掉网线,那也可以这样测试:
在Server1或Server2上:
# ps aux | grep ndbd
将会看到所有ndbd进程信息:
root      5578  0.0  0.3  6220 1964 ?        S    03:14   0:00 ndbd
root      5579  0.0 20.4 492072 102828 ?     R    03:14   0:04 ndbd
root     23532  0.0  0.1  3680  684 pts/1    S    07:59   0:00 grep ndbd
然后杀掉一个ndbd进程以达到破坏MySQL集群服务器的目的:
# kill -9 5578 5579
之后在另一台集群服务器上使用SELECT查询测试。并且在管理节点服务器的管理终端中执行show命令会看到被破坏的那台服务器的状态。
测试完成后,只需要重新启动被破坏服务器的ndbd进程即可:
# ndbd
注意!前面说过了,此时是不用加--inital参数的!
至此,MySQL集群就配置完成了!
 
mysql集群
(责任编辑:IT)
------分隔线----------------------------
栏目列表
推荐内容