Filebeat + ES + Kibana日志解析痛点解决

使用Filebeat + ES + Kibina的组合进行日志收集的一个优点就是轻量级，因为去掉了笨重的logstash, 占用资源更少。但这也引入了一个问题，即filebeat并没有logstash那样强大的日志解析能力，往往只能把整条日志当成一个整体扔到ES中。好消息是，ES从5.x版本开...

elasticsearch定期删除索引ELK清理索引脚本

ELK 由三部分组成elasticsearch、logstash、kibana，elasticsearch是一个近似实时的搜索平台,它让你以前所未有的速度处理大数据成为可能。 Logstash：日志收集工具，可以从本地磁盘，网络服务（自己监听端口，接受用户日志），消息队列中收集各种各样的日志...

elk定时清理日志

#!/bin/bash shijian=`date +%Y.%m.%d -d 5 days ago` #echo $shijian curl -XDELETE 10.88.88.93:9200/ph130iis-zdphlog-${shijian}...

删除60天之前的elasticsearch索引

1、说明 索引一天生成一个，格式为： filebeat-xxxx-xx-xx 2、脚本如下 #!/bin/bash curl -XGET http://192.168.11.43:9200/_cat/indices?v | grep filebeat | awk {print $3} | sort -n | awk {if(NR60)print} name.list cat name.list | while read line d...

elasticsearch索引自动清理

查看所有的索引文件： curl -XGET http://localhost:9200/_cat/indices?v 删除索引文件以释放空间： curl -XDELETE http://localhost:9200/filebeat-2016.12.28 单节点的elk可在索引目录删除索引文件:集群环境删除某节点的索引文件，会导致集群服务不可用.集...

shell实现按日期删除elk系统产生的logstash日志索引数据

分享一个简单的按日期删除elk系统产生的logstash日志索引数据的shell脚本,直接上代码： #/bin/bash #author: john li #created at 2017/9/15 16:00 if test ! -f /var/log/elkDailyDel.log ;then touch /var/log/elkDailyDel.log fi #请将该行当中的localhos...

快速搭建ELK日志分析系统

一、ELK搭建篇 官网地址:https://www.elastic.co/cn/ 官网权威指南:https://www.elastic.co/guide/cn/elasticsearch/guide/current/index.html 安装指南：https://www.elastic.co/guide/en/elasticsearch/reference/5.x/rpm.html ELK是Elasticsearch、Logsta...

elasticsearch的索引自动清理及自定义清理

一、 手动删除 rm -rf *2017-03-* 二、api删除 curl -XDELETE http://127.0.0.1:9200/logstash-2016-07-* 清理掉了所有 3月份的索引文件，我发现curl 删除比rm删除要快出很多 三、脚本加api删除（推荐） cat es-index-clear.sh 复制代码 #/bin/bash #指定日期...

定期删除30天以前的elasticsearch的日志

脚本/scripts/delete-elk.log #!/bin/bash DATE=`date -d 1 days ago +%Y.%m.%d` ip=`ifconfig ens33 | grep \binet\b|awk {print $2}` curl -s -XGET http://$ip:9200/_cat/indices?v| grep $DATE | awk -F [ ]+ {print $3} /tmp/elk.log for elk in `cat /t...

Elasticsearch指定时间之前的索引删除

http://192.168.1.50:9200/test_dev_log/messages/_query/ DELETE方法 { query: { range : { jm_timestamp : { from : 2017-07-20T00:00:00.539Z, to : 2017-07-20T23:59:59.539Z} } } }...