分类目录归档：ELK

2019
07-11

logstash过滤器--mutate NEW

概念filters/mutate 插件是 Logstash 另一个重要插件。它提供了丰富的基础类型数据处理能力。包括类型转换，字符串处理和字段处理等。Plugin version: v3.5.0执行顺序coerce rename update replace convert gsub uppercase capitalize lowercase strip remove split join merge copy也可以指定多个 mutate块来改变... Read More >

2019
07-10

es中单机部署状态为Yellow解决办法 NEW

背景单机版的 ES 状态为 Yellow，在 Kibana 的管理界面看到的 index 的状态也是 Yellow这个问题在于单机版的 ES，是没有备份的，没有副本，设置 index 副本的数量为 0 即可集群健康状态 从数据完整性的角度划分，集群健康状态分为：Green ，所有的主分片和副分片都正常运行 Yellow ，所有的主分片都正常运行，但不是所有的副分片都正常运行 存在 单点故障风险 Red ，有主分片没能正常运行 每个索引也有上述 种状态，假设丢失了一个副分片，该... Read More >

2019
07-08

kibana DevTools语句查询详解 NEW

直接点击Dev Tools，来看基本操作1，输入：GET /{   "name": "GddjX_V",   "cluster_name": "elasticsearch",   "cluster_uuid": "Z4oj43mcQKGiMF70lFDv-Q",... Read More >

2019
07-03

logstash增量同步mysql到es配置详解

配置详解input {   jdbc {     # mysql相关jdbc配置     jdbc_connection_string => "jdbc:mysql://localhost:3306/test?useUnicode=true&characterEncoding=utf-8&u... Read More >

2019
07-02

使用logstash-input-jdbc同步mysql到es

数据同步方式全量同步与增量同步全量同步是指全部将数据同步到es，通常是刚建立es，第一次同步时使用。增量同步是指将后续的更新、插入记录同步到es。（删除记录没有办法同步，只能两边执行自己的删除命令）常用的一些ES同步方法1. elasticsearch-jdbc: 严格意义上它已经不是第三方插件。已经成为独立的第三方工具。Elasticsearch-JDBC暂时还不支持Elasticsearch 5.0，并且很久没有更新了 ，弃用https://github.com/jpra... Read More >

2019
07-01

ELK的安装与配置

Elasticsearch 安装安装 JDK这里选择 openjdk$ yum install java-11-openjdk-devel获取 elasticsearch 下载 elasticsearch$ ELK_VERSION=7.5.0$ wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-$ELK_VERSION-linux-x86_64.tar.... Read More >

2019
06-28

elasticsearch中的基本概念和原理

基本概念和原理 ES其实就是基于lucene之上封装的一个分布式 索引框架,所以lucene拥有的特性,它都是有的,同时因为它是基于分布式的,所以对很多的功能进行了扩展,要想掌握ES,需要先熟悉一下Lucene,因为熟悉了Lucene之后,不论是学ES,还是Solr都是比较容易的.在这里插一句经常有人在选型的时候,不知道用ES还是Solr,建议可以参考下面的方案:如果系统是从头接入搜索引擎,那么就不要犹豫了,直接使用ES,因为它上手快,使用也比较简单,如果是现有系统已经有... Read More >