logstash多配置文件的使用和常见问题

phpmianshi2年前 (2019-08-24)ES5
logstash多配置文件的使用和常见问题
背景假设现在给Logstash的pipeline配置了2个conf,也就是2个输入源。如果不做任何处理,那么所有的Filter和Output都会同时触发,如下图:这显然跟我们期望的不同,我们希望Log...

elasticsearch中自定义分析器

phpmianshi2年前 (2019-08-23)ES4
自定义分析器虽然Elasticsearch带有一些现成的分析器,然而在分析器上Elasticsearch真正的强大之处在于,你可以通过在一个适合你的特定数据的设置之中组合字符过滤器、分词器、词汇单元过...

elasticsearch中分片(Shards)的理解

phpmianshi2年前 (2019-08-22)ES4
分片重要性ES中所有数据均衡的存储在集群中各个节点的分片中,会影响ES的性能、安全和稳定性, 所以很有必要了解一下它。分片是什么?简单来讲就是咱们在ES中所有数据的文件块,也是数据的最小单元块,整个E...

elasticsearch中forcemerge清除文件占用的磁盘空间

phpmianshi2年前 (2019-08-21)ES7
elasticsearch中forcemerge清除文件占用的磁盘空间
背景最近发现es占用的磁盘存储大小一直在增加,本来1mb的东西,隔了1-2天达到100mb多,如下分析    elasticsearch是建立在Apache Lucene...

ELK7.5.1实战-自建logstash同步数据到腾讯云ES集群

phpmianshi2年前 (2019-08-20)ES6
背景本来自建的单机ES提供搜索服务,随着数据的变多,性能已经成为严重的问题,现在准备迁移到腾讯云ES集群实战示例1. 购买腾讯云白金版ES集群7.5.1集群自带 es+kibana 但是不带logst...

elasticsearch中store设置true和false的区别

phpmianshi2年前 (2019-08-19)ES51
概念设置索引的时候,我们给某些字段的store属性设置为true,在查询时,请求中可以携带stored_fields参数,指定某些字段,最后,这些字段会被包含在返回的结果中。如果请求中携带的字段没有被...

elasticsearch中的ignore_above

phpmianshi2年前 (2019-08-18)ES88
概念我们在ElasticSearch的官方文档上可以看到这样关于mapping中ignore_above的解释:Strings longer than the ignore_above setting...

elasticsearch中字符串类型text vs keyword的选择

phpmianshi2年前 (2019-08-17)ES106
block b-tree.jpg
关于ES字符串类型的选择ElasticSearch 5.0以后,string类型有重大变更,移除了string类型,string字段被拆分成两种新的数据类型: text用于全文搜索的,而ke...

elasticsearch中修改mapping实战

phpmianshi2年前 (2019-08-16)ES71
查询原有mapping登录kibana的Index Management 查看 Mapping{     "mapping": ...

elasticsearch中分词器edge_ngram和ngram的区别

phpmianshi2年前 (2019-08-03)ES109
简介edge_ngram和ngram是ElasticSearch自带的两个分词器,一般设置索引映射的时候都会用到,设置完步长之后,就可以直接给解析器analyzer的tokenizer赋值使用。场景用...

elasticsearch中的常见问题和优化策略

phpmianshi2年前 (2019-08-02)ES53
常见优化策略:filter过滤器查询优化结果分数是Elasticsearch的关键。 通常,当您使用搜索引擎时,您需要最准确的结果。 例如,如果您正在搜索“苹果”,您不希望结果包括“苹果手机”。Ela...

elasticsearch中如何分析慢查询

phpmianshi2年前 (2019-08-01)ES100
elasticsearch中如何分析慢查询
背景首先,Elasticsearch中有两个版本的慢速日志:索引慢速日志(index slow logs )和搜索慢速日志( search slow logs)。 由于我们试图解决的问题涉及慢查询...

elasticsearch中重新索引数据

phpmianshi2年前 (2019-07-27)ES175
概念虽然你可以给索引添加新的类型,或给类型添加新的字段,但是你不能添加新的分析器或修改已有字段。假如你这样做,已被索引的数据会变得不正确而你的搜索也不会正常工作。 修改在已存在的数据最简单的...

elasticsearch中动态模板全解实战

phpmianshi2年前 (2019-07-26)ES186
动态模板在我们最开始使用ES的时候,可能还不太了解mapping,也没有添加过mapping为什么我们还是能够正常的添加文档。那是因为ES可以动态映射,添加文档的时候遇到没有的字段,可以动态的添加到m...

elasticsearch中mapping全解实战

phpmianshi2年前 (2019-07-24)ES265
Mapping简介#mapping 是用来定义文档及其字段的存储方式、索引方式的手段,例如利用mapping 来定义以下内容:哪些字段需要被定义为全文检索类型哪些字段包含number、dat...

elasticsearch中最重要的查询过滤语句

phpmianshi2年前 (2019-07-22)ES263
term 过滤term 主要用于精确匹配哪些值,比如数字,日期,布尔值或 not_analyzed 的字符串(未经分析的文本数据类型){ "term": { "age&q...

logstash中同步mysql到elastic常见问题总结

phpmianshi2年前 (2019-07-20)ES226
1. mysql查询字段中有 type字段问题原因select语句中查到了type, 但es中会默认有一个type, 这使得两个type冲突.会导致同步失败,且没有报错GET my_inde...

elasticsearch中倒排索引详解

phpmianshi2年前 (2019-07-19)ES332
elasticsearch中倒排索引详解
概念Elasticsearch使用一种叫做倒排索引(inverted index)的结构来做快速的全文搜索。倒排索引由在文档中出现的唯一的单词列 表,以及对于每个单词在文档中的位置组成。示例我们有两个...

elasticsearch中分析器的原理和使用

phpmianshi2年前 (2019-07-18)ES282
概念分析(analysis)机制用于进行全文文本(Full Text)的分词,以建立供搜索用的反向索引。原理分析器的工作过程大概分成两步:分词(Tokenization):根据停止词把文本分割成很多的...

elasticsearch中query和filter区别

phpmianshi2年前 (2019-07-17)ES201
区别在进行query的时候,除了完成匹配的过程,我们实际上在问“这个结果到底有多匹配我们的搜索关键词”。在所有的返回结果的后面都会有一个_score字段表示这个结果的匹配程度,也就是相关性。相关性越高...