elasticsearch用于html去标签化搜索

phpmianshi1年前 (2019-07-12)ES92
场景elasticsearch用于html去标签化搜索:即在Index的时候忽略html tag,同时又存储了完整的html,在使用的时候可以正常读出来。示例假设我们给content字段自定义anal...

logstash过滤器--mutate

phpmianshi1年前 (2019-07-11)ES84
概念filters/mutate 插件是 Logstash 另一个重要插件。它提供了丰富的基础类型数据处理能力。包括类型转换,字符串处理和字段处理等。Plugin version: v3.5.0执行顺...

es中单机部署状态为Yellow解决办法

phpmianshi1年前 (2019-07-10)ES195
es中单机部署状态为Yellow解决办法
背景单机版的 ES 状态为 Yellow,在 Kibana 的管理界面看到的 index 的状态也是 Yellow这个问题在于单机版的 ES,是没有备份的,没有副本,设置 index 副本的数量为 0...

kibana DevTools语句查询详解

phpmianshi1年前 (2019-07-08)ES167
直接点击Dev Tools,来看基本操作1,输入:GET /{   "name": "GddjX_V",  &nbs...

logstash增量同步mysql到es配置详解

phpmianshi1年前 (2019-07-03)ES119
配置详解input {   jdbc {     # mysql相关jdbc配置   ...

使用logstash-input-jdbc同步mysql到es

phpmianshi1年前 (2019-07-02)ES137
数据同步方式全量同步与增量同步全量同步是指全部将数据同步到es,通常是刚建立es,第一次同步时使用。增量同步是指将后续的更新、插入记录同步到es。(删除记录没有办法同步,只能两边执行自己的删除命令)常...

ELK的安装与配置

phpmianshi1年前 (2019-07-01)ES150
Elasticsearch 安装安装 JDK这里选择 openjdk$ yum install java-11-openjdk-devel获取 elasticsearch ...

es的基本概念和原理

phpmianshi1年前 (2019-06-28)ES96
基本概念和原理 ES其实就是基于lucene之上封装的一个分布式 索引框架,所以lucene拥有的特性,它都是有的,同时因为它使基于分布式的,所以对很多的功能进行了扩展,要想掌握ES,需要先熟悉一...

大型系统高可用的一般策略

phpmianshi1年前 (2019-05-26)架构2
负载均衡首先是应用服务器的负载均衡。负载均衡核心要解决的就是通过一个负载均衡服务器,将用户的请求分发给多个应用服务器,将多个应用服务器构建成一个集群,共同对外提供服务。这样的架构可以提高系统的处理能力...

互联网应用可用性的度量

phpmianshi1年前 (2019-05-20)架构2
概念业界通常用多少个 9 来说明互联网应用的可用性。示例比如说 QQ 的可用性是 4 个 9,就是说 QQ 的服务 99.99% 可用,这句话的意思是 QQ 的服务要保证在其所有的运行时间里只有 0....

系统架构的演进之路-单体到SOA到微服务

phpmianshi2年前 (2019-05-10)架构1
单体系统的困难在微服务出现之前,互联网应用系统主要是单体系统,也就是说一个网站的整个系统由一个应用构成。如果是 Java,就打包成一个 war 包,一个 war 包包含整个应用系统,系统更新的时候,即...

redis中分析key大小的几种方法

phpmianshi2年前 (2019-04-13)Redis87
背景当redis被用作缓存时,有时我们希望了解key的大小分布,或者想知道哪些key占的空间比较大。本文提供了几种方法。一. bigKeys这是redis-cli自带的一个命令。对整个redis进行扫...

redis的bigkey问题如何解决

phpmianshi2年前 (2019-04-12)Redis278
寻找big key有如下几种方法redis-cli自带--bigkeys,例如:redis-cli -h -a --bigkeys获取生产Redis的rdb文件,通过rdbtools分析rdb生成cs...

redis的热key问题如何解决

phpmianshi2年前 (2019-04-11)Redis352
概念其实热key问题说来也很简单,就是瞬间有几十万的请求去访问redis上某个固定的key,那么,这样会造成流量过于集中,达到物理网卡上限,从而导致这台redis的服务器宕机。那接下来这个key的请求...

如何使用sentry进行异常监控

phpmianshi2年前 (2019-04-11)架构201
系统架构中应用程序的监控非常重要。比如你是否遇到过这种问题:当用户向你抛出一个bug(或者说异常),而你却找不到异常出现的原因和时机,也很难去重现这种奇葩的事件,此时你有一种众里寻他千百度,那bug却...

如何应对网站流量暴增

phpmianshi2年前 (2019-04-10)架构263
如何应对网站流量暴增
按照经验大概出问题地方是DB,磁盘io、CPU、带宽、连接数、内存其中的一个或几个。不同的业务,不同的系统设计,出问题的地方会有所不同。如果流量增大数倍,势必某个资源会在瞬间被榨干,然后所有的服务都会...

微博朋友圈亿级Feed流如何设计

phpmianshi2年前 (2019-04-07)架构210
微博朋友圈亿级Feed流如何设计
简介Feed流是Feed + 流,Feed的本意是饲料,Feed流的本意就是有人一直在往一个地方投递新鲜的饲料,如果需要饲料,只需要盯着投递点就可以了,这样就能源源不断获取到新鲜的饲料。 在...

秒杀如何设计

phpmianshi2年前 (2019-04-06)架构254
秒杀难点:1、突发流量、数据热点2、数据一致性、短暂混沌态如果采用传统的数据库进行数据存储,对同一资源的争抢,就会面临严重的锁冲突问题。一般是通过一个前置的,速度更快的存储顶在前面,这就涉及到源库和目...

Golang中协程调度器底层实现( G、M、P)

phpmianshi2年前 (2019-04-06)Golang212
三个必知的核心元素。(G、M、P)G:Goroutine的缩写,一个G代表了对一段需要被执行的Go语言代码的封装M:Machine的缩写,一个M代表了一个内核线程,等同于系统线程P:Processor...

如何实现分布式事务

phpmianshi2年前 (2019-04-03)架构294
事务定义简单地说,事务提供一种“要么什么都不做,要么做全套(All or Nothing)”机制。数据库本地事务数据库事务中的四大特性 ACIDA:原子性(Atomicity),一个事务(transa...