> Linux新闻 >

分布式后台服务引擎 msec

该项目将于2016年12月开源!

毫秒服务引擎(msec, 取英文名Mass Service Engine in Cluster的首字母组合)是腾讯的一个开源框架(将于12月左右开源),适用于在廉价机器组成的集群上开发和运营分布式后台服务。毫秒服务引擎集RPC、名字发现服务、负载均衡、业务监控、灰度发布、容量管理、日志管理、key-value存储于一体,目的是提高开发与运营的效率和质量。 

毫秒服务引擎的创作冲动和构建经验,来自QQ后台团队超过10年的运营思考。它是一整套解决方案,但也可以拆分的来使用其中的监控、key-value存储单品。 

web console:整个系统的运营管理中心。主要是:

  • Tomcat提供web管理界面,管理的数据保存在MySQL里。

  • LB是名字发现服务和负载均衡,remote_shell是远程文件传输与远程命令执行服务。

log服务器:提供业务log的存储和查询服务。Log存储在MySQL表里。

monitor服务器:提供业务上报信息的存储和查询服务。业务上报信息存储在内存里,推荐内存8G~16G。定时dump到磁盘的方式防止数据掉电丢失。

业务运营服务器:部署开发框架和业务逻辑代码,处理业务请求。

key-value存储服务:相对整个框架比较独立,按需选用。

典型用户群体

使用毫秒服务引擎,用户可以快速拥有一套具备监控、名字发现服务、负载均衡、灰度发布、配置管理、日志、kv存储等功能的系统化的开发与运营框架,特别适合互联网初创公司。

10年的海量服务开发运营经验和教训使得我们深刻的认识到:

  • 要尽早规范团队的开发服务框架,避免到了后期,各种开发语言混杂、各类存储组件充斥、重复编码、每个模块形态不统一、文档缺失、监控瘫痪、人员离职造成大量信息丢失,最后积重难返、痛苦不堪。

  • 没有框架来规范,团队的随意性就太大,合作效率就大打折扣,甚至于内耗、反复的挖坑填坑,系统的成败过于依靠人的意识和水平。

  • 规范,不能靠文档、不能靠劳动纪律、不能靠苦口婆心、不能靠人员意识、不能靠运动式的整顿,要靠技术框架上切实的限制与贴心保护。

特点与优势

  1. 模块间访问采用RPC的方式,开发者不用关注网络与报文格式,像写单机程序一样开发分布式服务。

  2. 负载自动均衡与容错,对于单机故障、局部网络波动等状况自动应对,服务高可用性。

  3. 支持C/C++与Java语言,后续还将继续丰富;如果选择C/C++语言,支持协程,兼具开发和运行效率。

  4. Web化的管理界面,在web界面完成配置、发布、监控、日志、Key-value存储集群管理等所有操作。

  5. 需要复杂部署的服务器都采用Docker镜像的方式安装,使得部署与上手非常容易。

  6. 相比使用其他开源组件拼凑起来的解决方案,毫秒服务引擎更加的体系化,对团队的规范更加到位。

(责任编辑:IT)