欢迎光临IT网Linux学习频道

当前位置: > 其它学习 > Elasticsearch >
  • [Elasticsearch] ELK整合:ElasticSearch定期删除过期数据 日期:2019-12-27 13:57:56 点击:84 好评:0

    ELK 由三部分组成elasticsearch、logstash、kibana,elasticsearch是一个近似实时的搜索平台,它让你以前所未有的速度处理大数据成为可能。 Logstash:日志收集工具,可以从本地磁盘,网络服务(自己监听端口,接受用户日志),消息队列中收集各种各样的日志...

  • [Elasticsearch] 定期删除elasticsearch集群10天以上的索引 日期:2019-12-27 13:56:22 点击:81 好评:0

    背景 需要定期清理的索引的后缀日期格式为YYYY.MM.DD,如:project-index-2017.10.01 思路 通过_cat/indices接口可以获取当前ES全部索引信息,取第三列为索引名。过滤出索引名中带有的日期字符串,然后进行日期比较,早于10天前的日期便可通过日期模糊匹配索...

  • [Elasticsearch] Filebeat + ES + Kibana日志解析痛点解决 日期:2019-12-27 13:53:59 点击:182 好评:0

    使用Filebeat + ES + Kibina的组合进行日志收集的一个优点就是轻量级,因为去掉了笨重的logstash, 占用资源更少。但这也引入了一个问题,即filebeat并没有logstash那样强大的日志解析能力,往往只能把整条日志当成一个整体扔到ES中。好消息是,ES从5.x版本开...

  • [Elasticsearch] elasticsearch定期删除索引ELK清理索引脚本 日期:2019-12-27 13:50:11 点击:152 好评:0

    ELK 由三部分组成elasticsearch、logstash、kibana,elasticsearch是一个近似实时的搜索平台,它让你以前所未有的速度处理大数据成为可能。 Logstash:日志收集工具,可以从本地磁盘,网络服务(自己监听端口,接受用户日志),消息队列中收集各种各样的日志...

  • [Elasticsearch] elk定时清理日志 日期:2019-12-27 13:49:41 点击:136 好评:0

    #!/bin/bash shijian=`date +%Y.%m.%d -d 5 days ago` #echo $shijian curl -XDELETE 10.88.88.93:9200/ph130iis-zdphlog-${shijian}...

  • [Elasticsearch] 删除60天之前的elasticsearch索引 日期:2019-12-27 13:48:42 点击:134 好评:0

    1、说明 索引一天生成一个,格式为: filebeat-xxxx-xx-xx 2、脚本如下 #!/bin/bash curl -XGET http://192.168.11.43:9200/_cat/indices?v | grep filebeat | awk {print $3} | sort -n | awk {if(NR60)print} name.list cat name.list | while read line d...

  • [Elasticsearch] elasticsearch索引自动清理 日期:2019-12-27 13:48:09 点击:85 好评:0

    查看所有的索引文件: curl -XGET http://localhost:9200/_cat/indices?v 删除索引文件以释放空间: curl -XDELETE http://localhost:9200/filebeat-2016.12.28 单节点的elk可在索引目录删除索引文件:集群环境删除某节点的索引文件,会导致集群服务不可用.集...

  • [Elasticsearch] shell实现按日期删除elk系统产生的logstash日志索引数据 日期:2019-12-27 13:46:04 点击:67 好评:0

    分享一个简单的按日期删除elk系统产生的logstash日志索引数据的shell脚本,直接上代码: #/bin/bash #author: john li #created at 2017/9/15 16:00 if test ! -f /var/log/elkDailyDel.log ;then touch /var/log/elkDailyDel.log fi #请将该行当中的localhos...

  • [Elasticsearch] 快速搭建ELK日志分析系统 日期:2019-12-27 13:39:57 点击:84 好评:0

    一、ELK搭建篇 官网地址:https://www.elastic.co/cn/ 官网权威指南:https://www.elastic.co/guide/cn/elasticsearch/guide/current/index.html 安装指南:https://www.elastic.co/guide/en/elasticsearch/reference/5.x/rpm.html ELK是Elasticsearch、Logsta...

  • [Elasticsearch] elasticsearch的索引自动清理及自定义清理 日期:2019-12-27 13:30:46 点击:100 好评:0

    一、 手动删除 rm -rf *2017-03-* 二、api删除 curl -XDELETE http://127.0.0.1:9200/logstash-2016-07-* 清理掉了所有 3月份的索引文件,我发现curl 删除比rm删除要快出很多 三、脚本加api删除(推荐) cat es-index-clear.sh 复制代码 #/bin/bash #指定日期...

  • [Elasticsearch] 定期删除30天以前的elasticsearch的日志 日期:2019-12-27 13:29:24 点击:132 好评:0

    脚本/scripts/delete-elk.log #!/bin/bash DATE=`date -d 1 days ago +%Y.%m.%d` ip=`ifconfig ens33 | grep \binet\b|awk {print $2}` curl -s -XGET http://$ip:9200/_cat/indices?v| grep $DATE | awk -F [ ]+ {print $3} /tmp/elk.log for elk in `cat /t...

  • [Elasticsearch] Elasticsearch指定时间之前的索引删除 日期:2019-12-27 13:28:28 点击:120 好评:0

    http://192.168.1.50:9200/test_dev_log/messages/_query/ DELETE方法 { query: { range : { jm_timestamp : { from : 2017-07-20T00:00:00.539Z, to : 2017-07-20T23:59:59.539Z} } } }...

  • [Elasticsearch] elasticsearch定时删除索引 日期:2019-12-27 11:57:07 点击:129 好评:0

    删除索引的命令 curl -XDELETE http://192.168.207.73:9200/*-2019.07.25 curl -XDELETE http://192.168.207.73:9200/*-2019.07.* es定时删除索引步骤: Step1 vi /usr/sxy/es-index-clear.sh 内容如下: LAST_DATA=date -d -2 days +%Y.%m.%d curl -XDELETE...

  • [Elasticsearch] elasticsearch日志删除命令 日期:2019-12-27 11:56:51 点击:115 好评:0

    通过curl发送DELETE命令给elasticsearch服务器,进行日志删除操作。命令示例如下: curl -XDELETE http://192.168.10.181:9200/*-2018.10.24*curl -XDELETE http://192.168.10.181:9200/*-2018.10* 我的index格式形如: 以上命令中, 第一个是删除所有包含字...

  • [Elasticsearch] ELK定时删除30天前日志 日期:2019-12-27 11:55:35 点击:198 好评:0

    #!/bin/bash #删除ELK30天前的日志 DATE=`date -d 30 days ago +%Y.%m.%d` curl -s -XGET http://127.0.0.1:9200/_cat/indices?v| grep $DATE | awk -F [ ]+ {print $3} /tmp/elk.log for elk in `cat /tmp/elk.log` do curl -XDELETE http://127.0.0.1:9200...

  • [Elasticsearch] Elasticsearch下载与安装 日期:2019-11-29 12:28:51 点击:77 好评:0

    Elasticsearch下载与安装 一.Elasticsearch简介 Elasticsearch是一个分布式可扩展的实时,稳定,可靠,快速搜索和分析引擎。 分布式实时文件存储,并将每一个字段都编入索引,使其可以被搜索 实时分析的分布式搜索引擎 可以扩展到上百台服务器,处理PB级别的...

  • [Elasticsearch] elasticsearch 多列 聚合(sql group by) 日期:2019-11-06 16:44:09 点击:105 好评:0

    以下聚合对应的sql为select * from test group by model,brand,upbymemberid { query: { bool: { must: [ { terms: { model: [ LM358, BU406, BAV99 ] } } ], must_not: [], should: [] } }, from: 0, size: 0, sort: [], aggs: { types_count: { terms: { fi...

  • [Elasticsearch] ElasticSearch增加Mapping字段 日期:2019-11-06 16:43:35 点击:123 好评:0

    2.3.x PUT /pub_stock/_mapping/ES_PUB_Stock mapping增加字段 { properties: { proRemark: { type: string, index: not_analyzed } } } 5.0.x POST pub_stock/ES_PUB_Stock/_mapping { properties: { stockPrice: { type: nested, properties: { usdprice: {...

  • [Elasticsearch] Elasticsearch from+size 超过10000结果解决方法 日期:2019-11-06 16:43:03 点击:78 好评:0

    方法一: 如果需要搜索分页,可以通过from size组合来进行。from表示从第几行开始,size表示查询多少条文档。from默认为0,size默认为10, 如果搜索size大于10000,需要设置index.max_result_window参数 注意:size的大小不能超过index.max_result_window这...

  • [Elasticsearch] 如何在 Linux 上安装 Elasticsearch 和 Kibana 日期:2019-08-14 13:13:09 点击:157 好评:0

    获取我们关于安装两者的简化说明。 如果你渴望学习基于开源 Lucene 库的著名开源搜索引擎 Elasticsearch,那么没有比在本地安装它更好的方法了。这个过程在Elasticsearch 网站中有详细介绍,但如果你是初学者,官方说明就比必要的信息多得多。本文采用一种简...

  • [Elasticsearch] 如何在 MacOS 上安装 Elasticsearch 日期:2019-07-22 15:36:04 点击:155 好评:0

    安装 Elasticsearch 很复杂!以下是如何在 Mac 上安装。 Elasticsearch是一个用 Java 开发的开源全文搜索引擎。用户上传 JSON 格式的数据集。然后,Elasticsearch 在向集群索引中的文档添加可搜索的引用之前先保存原始文档。 Elasticsearch 创建还不到九年,...

  • [Elasticsearch] fastjson 1.2.57 版本发布,Bug 修复维护版本 日期:2019-04-12 12:49:49 点击:64 好评:0

    fastjson 1.2.57 版本已发布 ,这又是一个例行的 bug 修复维护版本。更新内容主要是修复 Bug,以及提升某些场景的性能。 Issues 修复智能匹配多余字段时覆盖原字段的问题 #2348 支持序列化按父类字段序列化 #2289 https://github.com/alibaba/fastjson/wiki/...

  • [Elasticsearch] Elasticsearch 7 发布,Kibana 暗黑模式、集群协调新时代 日期:2019-04-12 12:48:36 点击:81 好评:0

    Elastic Stack 7.0.0 发布了,Elasticsearch 作为 Elastic Stack 的核心,它是一个分布式、面向文档的 RESTful 风格搜索和数据分析引擎,它支持结构化和非结构化查询,并且不需要提前定义模式。Elasticsearch 可用作搜索引擎,通常用于 Web 级日志分析、实时...

  • [Elasticsearch] elasticsearch的字符串动态映射 日期:2019-04-08 17:41:03 点击:97 好评:0

    映射用来定义文档及其字段如何被存储和索引,文档写入es时,es可根据写入内容的类型自动识别,这种机制就是动态映射(Dynamic field mapping),本文关注的是写入内容为字符串时,该内容被识别的字段类型; 环境信息 操作系统:Ubuntu 18.04.2 LTS elasticse...

  • [Elasticsearch] elasticsearch定期删除策略 - 日志分析系统ELK搭建 日期:2019-01-04 14:36:48 点击:119 好评:0

    日志分析系统ELK搭建 ELK ELK是日志收集、索引与检索三件套,包含了三个组件 ElasticSearch Logstash Kibana 其中ElasticSearch完成日志的索引,并提供查询接口,Logstash完成日志的收集,Kibana则提供可视化展示 有了ELK,我们不再需要到线上的每一台机器上...

  • [Elasticsearch] Elasticsearch集群关闭节点 日期:2018-12-07 17:58:07 点击:93 好评:0

    关闭节点 关闭节点的API允许关闭集群中的一个或多个(或者全部)节点。下面是一个关闭 _local 节点的例子: $ curl -XPOST http://localhost:9200/_cluster/nodes/_local/_shutdown 也可以通过各自的节点ID来关闭指定的节点(或者像这里说明 的别的选项): $...

  • [Elasticsearch] ElasticSearch停止启动 日期:2018-12-07 17:54:59 点击:125 好评:0

    1.查找ES进程 ps -ef | grep elastic 2.杀掉ES进程 kill -9 2382(进程号) 3.重启ES sh elasticsearch -d 注意:elasticsearch不能用root用户启动。...

栏目列表
推荐内容