当前位置: > 其它学习 > Elasticsearch >

Filebeat+ELK搭建日志实时分析系统

时间:2020-01-03 10:34来源:linux.it.net.cn 作者:IT
java服务日志框架使用的是logback,filebeat只fetch级别为WARN和ERROR的记录.
 
### Filebeat
 
    一个轻量级开源日志文件数据搜集器,Filebeat 读取文件内容,发送到 Logstash 进行解析后进入 Elasticsearch,或直接发送到 Elasticsearch 进行集中式存储和分析。
 
 
### Logstash
 
    日志收集器。支持多种数据源输入(如java应用,filebeat,数据库等),并对数据进行过滤、分析、格式化等操作,然后存储到 Elasticsearch。
 
    使用Filebeat作为Logstash的输入,Logstash默认配置监听了5044端口,可以从Filebeat的配置output.logstash.hosts=["172.20.66.154:5044"]看出来。同时Filebeat的输出作为Logstash的输入,如下图配置 input.beats.port = 5044代表Logstash监听5044端口并接受来自filebeat的输入。
 
        
 
### Elasticsearch
 
    分布式搜索和分析引擎。基于 Apache Lucene 构建,能对大容量的数据进行接近实时的存储、搜索和分析操作。
 
### Kibana  
 
    数据分析和可视化平台。与 Elasticsearch 配合使用,对其中数据进行搜索、分析、图表展示。下图是我对公司测试环境下微服务进行监控的图表结果。Kibana支持灵活的展现方式,各种图表类型,这里不做说明。
 
 
### 常用命令
 
    - 杀进程:ps -ef |grep filebeat
 

 



(责任编辑:IT)
------分隔线----------------------------