当前位置: > 数据库 > Redis >

Redis集群监控方法

时间:2019-05-21 14:38来源:linux.it.net.cn 作者:IT
 1. 技术领域
       提供一种Redis集群中各Redis节点的监控处理方法,能够采集Redis节点的资源信息、性能指标数据,集群内多个Redis节点服务运行状态监控。实现告警监控信息、资源和性能指标的采集与分析的监控方法。
 
 
 
   2. 背景技术
    2.1 Redis简介
       Redis 是一种开源的内存中key-value数据结构存储系统,它可以用作数据库、缓存和消息中间件。它支持多种类型的数据结构,如字符串(strings), 散列(hashes), 列表(lists), 集合(sets),有序集合(sorted sets)与范围查询。Redis也可以被看成是一个数据结构服务器。Redis的所有数据都是保存在内存中,然后不定期的通过异步方式保存到磁盘上。
 
      Redis可使用一个或多个Redis哨兵(Sentinel),和Redis的主节点(Master)、 多个从节点(Slave)组成一个集群。Sentinel来检测Redis的Master节点是否运行正常,并在Master节点发生故障时,将 Master的Slave提升为Master,并在老的Master重新加入到Sentinel的群集之后,会被重新配置,作为新Master的Slave。基于Redis的 Sentinel可实现集群的高可用管理功能。
 
 
 
​​​​​​​   2.2 Redis监控方法
        Redis 监控最直接的方法就是在装有Redis的服务器上使用Redis服务提供的 INFO 命令,只需要执行下面一条命令:
 
        ./redis-cli -p 端口号info
 
       会返回一个Redis节点的Server、Clients、Memory、Persistence、Stats、Replication、CPU、Keyspace 8个部分的结果信息。从INFO返回结果中得到相关信息,就可以达到监控一个Redis节点的目的。
 
       如下结果返回的是一个Redis的Master节点的信息:
 
# Server
 
redis_version:2.8.8                      # Redis 的版本
 
redis_git_sha1:00000000
 
redis_git_dirty:0
 
redis_build_id:bf5d1747be5380f
 
redis_mode:standalone
 
os:Linux 2.6.32-220.7.1.el6.x86_64 x86_64
 
arch_bits:64
 
gcc_version:4.4.7                        #gcc版本
 
process_id:49324                        # 当前 Redis 服务器进程id
 
run_id:bbd7b17efcf108fdde285d8987e50392f6a38f48
 
tcp_port:6379
 
uptime_in_seconds:1739082               # 运行时间(秒)
 
uptime_in_days:20                       # 运行时间(天)
 
 
 
# Clients
 
connected_clients:1                      #连接的客户端数量
 
client_longest_output_list:0
 
client_biggest_input_buf:0
 
blocked_clients:0
 
 
 
# Memory
 
used_memory:821848                    #Redis分配的内存总量             
 
used_memory_human:802.59K
 
used_memory_rss:85532672               #Redis分配的内存总量(包括内存碎片)
 
used_memory_peak:178987632
 
used_memory_peak_human:170.70M       #Redis所用内存的高峰值
 
used_memory_lua:33792
 
mem_fragmentation_ratio:104.07           #内存碎片比率
 
mem_allocator:tcmalloc-2.0
 
 
 
# Persistence
 
loading:0
 
rdb_changes_since_last_save:0           #上次保存数据库之后,执行命令的次数
 
rdb_bgsave_in_progress:0               #后台进行中的 save 操作的数量
 
rdb_last_save_time:1410848500   #最后一次成功保存时间点
 
rdb_last_bgsave_status:ok
 
rdb_last_bgsave_time_sec:0
 
rdb_current_bgsave_time_sec:-1
 
aof_last_bgrewrite_status:ok
 
aof_last_write_status:ok
 
 
 
# Stats
 
total_connections_received:5705            #运行以来连接过的客户端的总数量
 
total_commands_processed:204013          #运行以来执行过的命令的总数量
 
instantaneous_ops_per_sec:0
 
rejected_connections:0
 
expired_keys:34401                       #运行以来过期的 key 的数量
 
evicted_keys:0                           #运行以来删除过的key的数量
 
keyspace_hits:2129                       #命中key 的次数
 
keyspace_misses:3148                     #没命中key 的次数
 
# Replication
 
role:master                              #当前实例的角色master还是slave
 
connected_slaves:0
 
master_repl_offset:0
 
 
 
# CPU
 
used_cpu_sys:1551.61
 
used_cpu_user:1083.37
 
used_cpu_sys_children:2.52
 
used_cpu_user_children:16.79
 
 
 
# Keyspace
 
db0:keys=3,expires=0,avg_ttl=0    #各个数据库key 的数量,以及带有生存期的 key 的数量
 
以上字符串就是这个Redis节点带有固定格式的一些字段属性和值。
 
同样通过INFO命令,对一个Sentinel节点返回的信息如下:
 
# Sentinel
 
sentinel_masters:3
 
sentinel_tilt:0
 
sentinel_running_scripts:0
 
sentinel_scripts_queue_length:0
 
master0:name=common, status=ok,address=192.168.95.111:56379,slaves=1,sentinels=3
 
master1:name=resource1,status=ok,address=192.168.95.112:56379,slaves=1,sentinels=3
 
master2:name=resource2,status=ok,address=192.168.95.113:56379,slaves=1,sentinels=3
 
由返回信息可得知这个Sentinel目前管理了3个Master,并分别给出了Master的IP和端口,每个Master各有一个Slave。
 
 
 
3.技术方案描述
​​​​​​​3.1 要解决的技术问题
       通过在Redis服务器上执行INFO命令可以得到当前Redis节点的结果信息,但需要手工执行命令,结果信息可读性不强,不直观,不能达到自动监控的目的。 理想监控方案是在公司目前的监控产品中,集成Redis的集群监控方案,能够周期性、不间断的自动采集Redis各节点的数据信息,实时上报Redis节点的监控指标和状态,和Redis集群的服务状态信息。
 
​​​​​​​3.2 整体思路
       Redis的Sentinel作为Redis的高可用方案,可以实现Redis的Mater和Slave之间高可用和故障自动切换。以公司某监控产品环境中的用到的Redis为例,为公共数据部署一组Redis,包括一个Master和一个Slave。为资源数据部署两组Redis,每组内同样包括一个Master和一个Slave。这样通过6个Redis(Master/Slave)节点形成一个Redis集群服务方案。
 
 
        为了方便说明Redis集群,本次在三台服务器进行Redis集群的安装,其中每台服务器上各部署一个Master和Slave,考虑到防止设备宕机导致的高可用问题,不同服务器的Master和Slave形成Master/Slave关系。另外每台服务器上要各部署一个Sentinel,做为Redis的管理节点,实时监测Master和Slave的主备状态与切换, 如果Master所在的服务器宕机,Slave也能继续接替Master工作。
 
      实际部署形成的Redis主备节点集群方案如下, Slave节点通过蓝色箭头指向Master节点做表示:
 
 
 
 
 ​​​​​​​3.3 实现方案
 3.3.1 采用Java直接连接Redis节点取INFO信息
        采用Java开发,在开发工程中引用开发包jedis-2.7.2.jar,进行代码开发。连接一个Redis节点的关键代码如下,例如连接一个IP是192.168.180.61,端口是56380的Redis节点:
 
Jedis jedis = new Jedis (“192.168.180.61”, 56380);
 
String info = jedis.info ();
 
      如果这个IP和端口的Redis节点正常,则返回的info字符串,就可得到这个节点的所有信息,与在Redis服务器上通过INFO命令取节点信息是同样效果。
 
 
 
    3.3.2采集Redis节点方法
       通过Sentinel节点采集,可采集Sentinel管理的Master节点信息。在确定了一个Sentinel节点的IP和端口的情况下,先采这个Sentinel节点的信息,可得到这个Sentinel管理的Master节点的IP和端口,有了多个Master节点的IP和端口,可再针对这些IP和端口进行采集。
 
       例如采一个Sentinel节点,得到目前这个Sentinel管理的3个Master的IP和端口,再依次采用这3个Master的IP和端口的Redis信息,得到该Master的Slave节点信息。
 
       如下图例展示了通过一个Sentinel可采到所有节点的过程:
 
 
 
 
       这样至少通过一个Sentinel节点的IP和端口,就能把这个集群服务中的所有Master和Slave节点信息采集到,包括这个Sentinel节点本身。其它的Sentinel节点再分别通过IP和端口采集。
 
如下图展示是的当前这个名为Redis180的服务, 各个Redis节点的一个展示页面效果。
 
 
 
 
     3.3.3从INFO字符串提取关键配置信息和性能指标
      通过取一个Redis节点的INFO字符串信息中,是格式固定的字符串,通过提取关键指标值,将指标值进行分析处理,可做为Redis节点的资源配置信息或性能指标值。例如内存部分的字段信息:
 
used_memory: 4809536                #Redis使用的内存             
 
used_memory_peak: 6589592    #Redis所用内存的高峰值
 
       这两个指标给出的是当前这个Redis节点使用的内存量与高峰值的字节数。通过一个Redis节点的IP与端口,做为资源的唯一标识,把这两个指标数据归属到这个Redis资源上。数据在入库后,可通过界面查看这两个指标的展示情况:
 
 
 
 
3.3.4一个服务中通过Sentinel判断服务状态
       部署了多个Redis节点,包括多个Master,Slave,Sentinel节点成一个集群,通过Sentinel来管理各节点的运行状态。 Sentinel能够监控所管理的Master或Slave节点的运行状态和角色,所以可以通过Sentinel来判断一个Redis集群服务的运行状态。
 
    判断一个集群服务方法:如果服务中所有的Sentinel节点无法取回INFO信息,则认为这个服务状态是异常的,并上报Redis服务不可用告警。
 
实现方法:
 
周期检查一个Redis服务中的所有Sentinel的IP和端口, 如果服务中的每个Sentinel的IP和端口都不能返回INFO信息,则认为这个服务异常不可用,并上传Redis服务状态异常不可用的告警。
2.  如果是单个Sentinel节点不能返回INFO信息,则上传这个Sentinel节点状态异常告警。
 
3.  当检查到所有Sentinel节点的IP和端口都可采,都能返回INFO信息,是认为Redis服务已正常,上传Redis服务恢复正常的恢复告警。
 
 
 
 
​​​​​​​4.本方案相对于现有方案的有益效果或者优点
实现了一种可视化的实时监控Redis集群中节点信息和服务运行状态的监控方法。
 
通过一个Sentinel节点就能一次性采集发现这个Sentinel管理的所有Redis节点信息。
 
     为一组部署了Sentinel节点的Redis集群确定了一种通过多个Sentinel判断集群服务是否正常的方法。
 


 


(责任编辑:IT)
------分隔线----------------------------