定期删除elasticsearch集群10天以上的索引
时间:2019-12-27 13:56 来源:linux.it.net.cn 作者:IT
背景
需要定期清理的索引的后缀日期格式为YYYY.MM.DD,如:project-index-2017.10.01
思路
通过_cat/indices接口可以获取当前ES全部索引信息,取第三列为索引名。过滤出索引名中带有的日期字符串,然后进行日期比较,早于10天前的日期便可通过日期模糊匹配索引来删除。
完整的脚本如下:
#!/bin/bash
###################################
#删除早于十天的ES集群的索引
###################################
function delete_indices() {
comp_date=`date -d "10 day ago" +"%Y-%m-%d"`
date1="$1 00:00:00"
date2="$comp_date 00:00:00"
t1=`date -d "$date1" +%s`
t2=`date -d "$date2" +%s`
if [ $t1 -le $t2 ]; then
echo "$1时间早于$comp_date,进行索引删除"
#转换一下格式,将类似2017-10-01格式转化为2017.10.01
format_date=`echo $1| sed 's/-/\./g'`
curl -XDELETE http://es-cluster-ip:9200/*$format_date
fi
}
curl -XGET http://es-cluster-ip:9200/_cat/indices | awk -F" " '{print $3}' | awk -F"-" '{print $NF}' | egrep "[0-9]*\.[0-9]*\.[0-9]*" | sort | uniq | sed 's/\./-/g' | while read LINE
do
#调用索引删除函数
delete_indices $LINE
done
将脚本配置到定时任务定期执行即可。
(责任编辑:IT)
背景 需要定期清理的索引的后缀日期格式为YYYY.MM.DD,如:project-index-2017.10.01 思路 通过_cat/indices接口可以获取当前ES全部索引信息,取第三列为索引名。过滤出索引名中带有的日期字符串,然后进行日期比较,早于10天前的日期便可通过日期模糊匹配索引来删除。 完整的脚本如下: #!/bin/bash ################################### #删除早于十天的ES集群的索引 ################################### function delete_indices() { comp_date=`date -d "10 day ago" +"%Y-%m-%d"` date1="$1 00:00:00" date2="$comp_date 00:00:00" t1=`date -d "$date1" +%s` t2=`date -d "$date2" +%s` if [ $t1 -le $t2 ]; then echo "$1时间早于$comp_date,进行索引删除" #转换一下格式,将类似2017-10-01格式转化为2017.10.01 format_date=`echo $1| sed 's/-/\./g'` curl -XDELETE http://es-cluster-ip:9200/*$format_date fi } curl -XGET http://es-cluster-ip:9200/_cat/indices | awk -F" " '{print $3}' | awk -F"-" '{print $NF}' | egrep "[0-9]*\.[0-9]*\.[0-9]*" | sort | uniq | sed 's/\./-/g' | while read LINE do #调用索引删除函数 delete_indices $LINE done 将脚本配置到定时任务定期执行即可。 (责任编辑:IT) |