当前位置:首页 > ES > 正文内容

logstash中同步mysql到elastic常见问题总结

phpmianshi1年前 (2019-07-20)ES34

1. mysql查询字段中有 type字段


问题原因

select语句中查到了type, 但es中会默认有一个type, 这使得两个type冲突.会导致同步失败,且没有报错

GET my_index/_mapping

返回的数据中包含一个type字段如下:

"type" : {
          "type" : "text",
          "fields" : {
            "keyword" : {
              "type" : "keyword",
              "ignore_above" : 256
          }
      }
}

解决办法
去掉type或者改名为其它字段table_type即可, 问题解决


2.当配置了保存最后更新记录的情况下,直接删除不能重新同步

record_last_run => true
last_run_metadata_path => "/usr/local/logstash/config/run/ru
n_last_record_id"

当配置是上面这种情况时,如果直接删掉/usr/local/logstash/config/run/run_last_record_id是无法直接重新同步的,还是需要重启下


版权声明:本文由PHP面试资料网发布,如需转载请注明出处。
分享给朋友:

相关文章

elasticsearch中SearchApi的详解

搜索流程当一个搜索请求被发送到某个节点时,这个节点就变成了协调节点。 这个节点的任务是广播查询请求到所有相关分片并将它们的响应整合成全局排序后的结果集合,这个结果集合会返回给客户端。多索引搜...

elasticsearch中倒排索引详解

elasticsearch中倒排索引详解

概念Elasticsearch使用一种叫做倒排索引(inverted index)的结构来做快速的全文搜索。倒排索引由在文档中出现的唯一的单词列 表,以及对于每个单词在文档中的位置组成。示例我们有两个...

kibana DevTools语句查询详解

直接点击Dev Tools,来看基本操作1,输入:GET /{   "name": "GddjX_V",  &nbs...

elasticsearch高亮搜索highlight

概念我们在浏览器上搜索文本时,发现我们输入的关键字有高亮显示,查看html源码就知道,高亮的部分是加了<em>标签的,ES也支持高亮搜索这种操作的,并且在返回的文档中自动加了<em&...

logstash过滤器--mutate

概念filters/mutate 插件是 Logstash 另一个重要插件。它提供了丰富的基础类型数据处理能力。包括类型转换,字符串处理和字段处理等。Plugin version: v3.5.0执行顺...

elasticsearch中最重要的查询过滤语句

term 过滤term 主要用于精确匹配哪些值,比如数字,日期,布尔值或 not_analyzed 的字符串(未经分析的文本数据类型){ "term": { "age&q...

发表评论

访客

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。