背景 需要定期清理的索引的后缀日期格式为YYYY.MM.DD，如：project-index-2017.10.01 思路 通过_cat/indices接口可以获取当前ES全部索引信息，取第三列为索引名。过滤出索引名中带有的日期字符串，然后进行日期比较，早于10天前的日期便可通过日期模糊匹配索...

使用Filebeat + ES + Kibina的组合进行日志收集的一个优点就是轻量级，因为去掉了笨重的logstash, 占用资源更少。但这也引入了一个问题，即filebeat并没有logstash那样强大的日志解析能力，往往只能把整条日志当成一个整体扔到ES中。好消息是，ES从5.x版本开...

ELK 由三部分组成elasticsearch、logstash、kibana，elasticsearch是一个近似实时的搜索平台,它让你以前所未有的速度处理大数据成为可能。 Logstash：日志收集工具，可以从本地磁盘，网络服务（自己监听端口，接受用户日志），消息队列中收集各种各样的日志...

#!/bin/bash shijian=`date +%Y.%m.%d -d 5 days ago` #echo $shijian curl -XDELETE 10.88.88.93:9200/ph130iis-zdphlog-${shijian}...

1、说明 索引一天生成一个，格式为： filebeat-xxxx-xx-xx 2、脚本如下 #!/bin/bash curl -XGET http://192.168.11.43:9200/_cat/indices?v | grep filebeat | awk {print $3} | sort -n | awk {if(NR60)print} name.list cat name.list | while read line d...

查看所有的索引文件： curl -XGET http://localhost:9200/_cat/indices?v 删除索引文件以释放空间： curl -XDELETE http://localhost:9200/filebeat-2016.12.28 单节点的elk可在索引目录删除索引文件:集群环境删除某节点的索引文件，会导致集群服务不可用.集...

分享一个简单的按日期删除elk系统产生的logstash日志索引数据的shell脚本,直接上代码： #/bin/bash #author: john li #created at 2017/9/15 16:00 if test ! -f /var/log/elkDailyDel.log ;then touch /var/log/elkDailyDel.log fi #请将该行当中的localhos...

一、ELK搭建篇 官网地址:https://www.elastic.co/cn/ 官网权威指南:https://www.elastic.co/guide/cn/elasticsearch/guide/current/index.html 安装指南：https://www.elastic.co/guide/en/elasticsearch/reference/5.x/rpm.html ELK是Elasticsearch、Logsta...

一、 手动删除 rm -rf *2017-03-* 二、api删除 curl -XDELETE http://127.0.0.1:9200/logstash-2016-07-* 清理掉了所有 3月份的索引文件，我发现curl 删除比rm删除要快出很多 三、脚本加api删除（推荐） cat es-index-clear.sh 复制代码 #/bin/bash #指定日期...

脚本/scripts/delete-elk.log #!/bin/bash DATE=`date -d 1 days ago +%Y.%m.%d` ip=`ifconfig ens33 | grep \binet\b|awk {print $2}` curl -s -XGET http://$ip:9200/_cat/indices?v| grep $DATE | awk -F [ ]+ {print $3} /tmp/elk.log for elk in `cat /t...

http://192.168.1.50:9200/test_dev_log/messages/_query/ DELETE方法 { query: { range : { jm_timestamp : { from : 2017-07-20T00:00:00.539Z, to : 2017-07-20T23:59:59.539Z} } } }...

删除索引的命令 curl -XDELETE http://192.168.207.73:9200/*-2019.07.25 curl -XDELETE http://192.168.207.73:9200/*-2019.07.* es定时删除索引步骤： Step1 vi /usr/sxy/es-index-clear.sh 内容如下： LAST_DATA=date -d -2 days +%Y.%m.%d curl -XDELETE...

通过curl发送DELETE命令给elasticsearch服务器，进行日志删除操作。命令示例如下： curl -XDELETE http://192.168.10.181:9200/*-2018.10.24*curl -XDELETE http://192.168.10.181:9200/*-2018.10* 我的index格式形如： 以上命令中， 第一个是删除所有包含字...

#!/bin/bash #删除ELK30天前的日志 DATE=`date -d 30 days ago +%Y.%m.%d` curl -s -XGET http://127.0.0.1:9200/_cat/indices?v| grep $DATE | awk -F [ ]+ {print $3} /tmp/elk.log for elk in `cat /tmp/elk.log` do curl -XDELETE http://127.0.0.1:9200...

[root@openstack ~]# ip add 1: lo: LOOPBACK,UP,LOWER_UP mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000 link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00 inet 127.0.0.1/8 scope host lo valid_lft forever preferred_lft foreve...

查询目前存在的计算节点有哪些 停止所要删除的计算节点的服务 删除数据库中对应的信息 查看是否删除成功...

1、首先source环境变量 每次登陆节点需要操作openstack命令时，都需要source一次环境变量，这样才可以正确的访问相应的用户信息。 [root@cloud ~]#source openrc.sh 2、生成密钥对 [root@cloud ~]#openstack keypair create --public-key ~/.ssh/id_rsa.pub d...

修改compute节点下的/etc/nova/nova.conf vncserver_listen = 0.0.0.0 vncserver_proxyclient_address = 192.168.25.135 管理节点ip 修改compute节点下的/etc/nova/nova.conf####cpu节点 vncserver_proxyclient_address = 192.168.25.135 管理节点ip...

今天管理员发现无法登陆openstack的用户自己的web管理界面，初步确定是keystone的问题，service openstack-keystone显示服务停用了， ，后面判断应该是rabbitMQ的问题导致的， =WARNING REPORT==== 9-Sep-2016::11:39:39 === closing AMQP connection 0.25894...

计算节点云主机获取IP地址异常 问题描述： 新增的计算节点物理机内核版本3.10.0-514.1.el7.x86_64，qemu版本1.5.3-501.el7.centos.bc.x86_64，libvirt版本1.2.17-13.el7_2.4.1.x86_64，OVS版本3.2.10-392-nuage，其他配置项服务运行正常，当创建运行虚拟机时...

在搭建openstack时，最后需要用cirros镜像来验证安装。 在计算节点上使用虚拟控制台访问实例url时输入指令： openstack console url show kvm01-cirros 之后会返回一个链接，复制这个链接输入到浏览器之后可以正常访问镜像系统，那其实就是搭建成功了。 但是...

检查compute node中 /etc/nova/nova.conf,是不是这样设置的, [vnc] enabled = True vncserver_listen = 0.0.0.0 vncserver_proxyclient_address = $my_ip novncproxy_base_url = http://controller:6080/vnc_auto.html 再就是打开Openstack Dashboard电脑能否...

命令启动一个实例 # 查看可用实例类型 openstack flavor list # 查看可用启动镜像 openstack image list # 查看可用网络 openstack network list # 查看可用安全组 openstack security group list # 启动一个实例 openstack server create --flavor m1.mediu...

心跳机制是定时发送一个自定义的结构体(心跳包)，让对方知道自己还活着，以确保连接的有效性的机制。 应用场景： 在长连接下，有可能很长一段时间都没有数据往来。理论上说，这个连接是一直保持连接的，但是实际情况中，如果中间节点出现什么故障是难以知道的...

心跳检测在网络程序中常常被用到，在客户端和服务器之间暂时没有数据交互时，就需要心跳检测对方是否存活。心跳检测可以由客户端主动发起，也可以由服务器主动发起。在网上看了一下心跳的讲解，大多是千遍一律只是给出了客户端十分简单的Heartbeat。这里提供...

心跳机制是定时发送一个自定义的结构体(心跳包)，让对方知道自己还活着，以确保连接的有效性的机制。 应用场景： 在长连接下，有可能很长一段时间都没有数据往来。理论上说，这个连接是一直保持连接的，但是实际情况中，如果中间节点出现什么故障是难以知道...

openstack中的浮动IPdown掉时可以重启服务 [root@openstack ~]# systemctl restart openstack-nova-compute [root@openstack ~]# systemctl restart neutron-l3-agent [root@openstack ~]# ping 192.168.6.9 PING 192.168.6.9 (192.168.6.9) 56(84) bytes of...

部署OpenStack Mitaka版时，计算节点openstack-nova-compute.service 服务一直夯着无法启动，libvirtd 服务启动正常： [root@compute1 ~]$ systemctl status openstack-nova-compute.service ● openstack-nova-compute.service - OpenStack Nova Compute Ser...