生产环境ELK日志系统部署搭建指南
一、 搭建背景
1、 分布式系统,日志分散在多台机器,查询日志需要拿到全部日志进行逐一筛选,比较耗时。
2、 一些日志相关的紧急统计,需要临时耗费大量人力做分析汇总。
二、 环境准备
本次搭建环境及软件版本如下:
3台虚拟机配置:
硬件:CPU:4核64位;内存:16GB;
系统:Red Hat6.7;JDK:1.8.0_171;
应用:Filebeat、Elasticsearch、Logstash、Kibana均使用6.3.0版本。ELK官网下载tar包即可,保持组件版本一致。
磁盘:日志最终是存放在Elasticsearch上,此台机器磁盘是500GB。
三、 组件介绍
ELK技术栈目前主流架构图如下:
Filebeat部署在生产服务器,负责收集文本型日志并外发;
Kafka消息队列,负责大并发场景下的日志消息缓存发送,防止数据丢失;
Logstash负责日志的切割,过滤等处理,也可以集群部署;
Elasticsearch负责日志存储,搜索,数据量大时需要集群部署,用空间换时间;
Kibana是elasticsearch的可视化工具,并且提供了强大的图形化展示功能。
本次搭建因为考虑到并发量不大,没有使用kafka,组件也没有做集群部署,后续随着日志量的增大会把elasticsearch做一个集群以提升搜索速度。
四、 搭建部署
1、 环境配置
A、 关闭虚拟机防火墙
# systemctl stop firewalld
# systemctl disable firewalld
B、 调整进程数和线程数
修改/etc/security/limits.d/20-nproc.conf 加入如下配置
soft nofile 65536
hard nofile 131072
soft memlock unlimited
hard memlock unlimited
修改/etc/security/limits.d/20-nproc.conf,加入以下配置
soft nproc 4096
root soft nproc unlimited
C、 创建ELK用户,增加内存数
# groupadd elk
# useradd -g elk elk
切换到root用户,在/etc/sysctl.conf文件最后添加一行
vm.max_map_count=262144
再执行这条命令
# sysctl -w vm.max_map_count=262144
2、 组件配置及启动
A、 Filebeat的配置和启动
a) Filebeat是配置在生产服务器上面的。解压filebeat.tar.gz到安装目录。
b) 编辑解压目录下的filebeat.yml文件。主要配置filebeat.inputs和output.logstash项。
output.logstash:
hosts: [“logstashIpAddr: logstashPort”]
filebeat.inputs:
# log_1
- type: log
# 配置是否启用此项配置
enabled: true
# 配置日志路径
paths:
/opt/applog/test.log
#增加一个字段,配置日志源识别信息
fields:
log_source: 117_log
c) 还有一个比较重要的配置是多行匹配。主要用于匹配报错日志等。
在-type下配置以下3个选项:
multiline.pattern: ‘^2019’ # 匹配的正则表达式
multiline.negate: true # 否定参数,一般配置为true
multiline.match: after # 表示向后匹配
d) 后台启动命令:
# nohup ./filebeat -e -c filebeat.yml
B、 Elasticsearch的配置和启动
a) 解压elasticsearch.tar.gz包到安装目录,如果不配置集群,使用默认配置即可。
b) 配置集群:进入解压后的config目录,编辑elasticsearch.yml文件。
cluster.name: testcluster # 集群的名称
node.name: master-node # 节点名称
node.master: true # 意思是该节点为主节点 (主节点设置为true,node节点设置为false)
node.data: false # 表示这不是数据节点 (主节点设置为false,node节点设置为true)
network.host: 0.0.0.0 # 监听全部ip,在实际环境中应设置一个安全的ip
http.port: 9200 # es服务的端口号
discovery.zen.ping.unicast.hosts: [
“ip1”,
“ip2”,
“ip3”
]
# 配置自动发现
c) 启动:使用后台启动命令
# nohup bin/elasticsearch &
C、 Kibana的配置和启动
a) 解压kibana.tar.gz包到安装目录,进入config目录,编辑kibana.yml文件。
其中只有elasticsearch.url是必须配置的
elasticsearch.url: http://1.2.3.4:9200 #配置elasticsearch的访问地址。
server.port配置端口,默认是5601
b) 启动:使用后台命令启动
# nohup bin/kibana &
D、 Logstash的配置和启动
a) 解压logstash.tar.gz包到安装目录。
b) 进入config目录,创建logstash.conf配置文件。具体配置方法见下一章节。这里先启动。
c) 后台启动命令:
# nohup bin/logstash -f config/logstash.conf &
五、 日志解析
前面说过,日志解析的工作主要由logstash完成,logstash根据配置文件来解析日志。
启动命令-f参数默认指向一个配置文件,如果要指向多个配置文件,则将多个配置文件放在一个目录下面,-f指向这个目录即可。
Logstash的配置文件使用rube语言编写。核心切割使用独特的grok语法,配合正则表达式完成。
一个logstash配置文件需要包含3个模块:
input{}:此模块是负责收集日志,可以从文件读取、从redis读取或者开启端口让产生日志的业务系统直接写入到logstash
filter{}:此模块是负责过滤收集到的日志,并根据过滤后对日志定义显示字段
output{}:此模块是负责将过滤后的日志输出到elasticsearch或者文件、redis等。
一个最简单的配置如下:
input {
stdin { }
}
filter {
}
output {
stdout {
codec => rubydebug
}
}
表示将标准输入的内容经rubydebug编码后标准输出。
Logstash配置涉及的内容非常多,本文只针对本次搭建的配置逐条解释,不作扩展。
本次搭建配置及解释如下图:
六、 日志搜索
日志搜索是通过kibana来实现的,kibana实现在界面操作elasticsearch.
1、 通过kibana引入logstash创建的索引。
通过5601端口进入kibana首页,点进入Management页面。点击Index Patterns,点击Create Index Pattern创建索引(只有在logstash创建且有日志发送到ela才能在此处搜索并创建),搜索logstash创建的索引名前缀,日期用*代替,然后按提示创建即可。
2、搜索日志
a) 选择Discover页签,到日志展示页面
b) 左上角下拉框选择日志类型
c) 左边字段列表,点击添加message字段
d) 右上角选择日志时间
e) 正上方搜索日志内容,输入订单号等关键字搜索
3、数据图表化还在研究中,后续更新。
|