欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

Elasticsearch 2.4.2 低延迟使用记录

程序员文章站 2022-05-12 21:02:59
...

 

 编写不易,转载请注明( http://shihlei.iteye.com/blog/2423848 )!

 

一 概述

(一直没有升级ES版本,这里只记录使用这一年多的一些优化结论)

 

Elasticsearch2.4.2  做索引库,提供低延迟的查询需求。

  1. 业务规模:docuement 规模 90万,大概200M,不算大。
  2. 查询特点:都是terms查询,没有聚合查询。客户端使用的是jest 基于http查询es。
  3. 性能:3000qps 并不大,tp 999 暂未统计

二 架构

  (1)节点类型 

  1.       master node:协调,存储元数据,负载和内存占用不高,但建议独立部署。
  2.       data node:计算,数据存储,主要负载节点,cpu,内存都要消耗。建议选好点的机器,内存大点的机器,并且机器配置尽量一样,方便负载均衡。
  3.       client node:请求转发,负载均衡节点,主要用于接入和分配查询合并。(我们的场景,没有合并查询,所以基本没有负载)

  (2)架构建议:数据量小,查询少可以混合使用。但建议独立部署。

  1.       master node:3台,配置不用太高,但独立部署,重启维护方便。
  2.       data node:n 台,cpu ,内存都好点,有建议ssd,视情况吧。
  3.       client node:建议加入,统一入口,1~2台,cpu好点,有合并的话,内存大点。  

三 节点配置

  (1)查询队列:threadpool.search

 

      (a)master: 小集群数据量不大,添加修改频繁,基本不用改配置。

 

      (b)datanode:计算,由于tcp同clientnode 连接,我们使用的是 fixed 类型,队列大小需要慎重

threadpool.search.type: fixed
threadpool.search.size: 100            # (核数 * 3)/2 +1 如果cpu使用率没有到 70% 以上,建议调大,提高系统的吞吐量  
threadpool.search.queue_size: 1000    

     

(c)clinetnode:我们无合并结果需求,只提供接入和datanode负载均衡的能力。cpu内存消耗非常低,避免线程数成为系统瓶颈,所以选择cached类型。

# Cached threadpool
threadpool:  
	generic:  
		keep_alive: 200ms

 

  (2)开启交换分区锁定:

        bootstrap.mlockall: true

 

        我们索引才几百M,最好都内存计算和fetch,同时避免内存不够是es的换出,性能确实有所提高,慢查询减少到原来的1/3;

 

  (3)g1 gc :

      查询请求多的时候,观察系统日志,出现gc 的警告,时间大于1s,这个暂停太长,我们在data node 上更换了g1 gc

 

      要求: 需要高于JDK 8u40,版本,该版本之前改G1会造索引失效

 

      修改方法:bin/elasticsearch.in.sh

 

      调整为:

          # Add gc options. ES_GC_OPTS is unsupported, for internal testing

          if [ "x$ES_GC_OPTS" = "x" ]; then
          #  ES_GC_OPTS="$ES_GC_OPTS -XX:+UseParNewGC"
          #  ES_GC_OPTS="$ES_GC_OPTS -XX:+UseConcMarkSweepGC"
          #  ES_GC_OPTS="$ES_GC_OPTS -XX:CMSInitiatingOccupancyFraction=75"
          #  ES_GC_OPTS="$ES_GC_OPTS -XX:+UseCMSInitiatingOccupancyOnly"

 
          ES_GC_OPTS="$ES_GC_OPTS -XX:+UseG1GC"
          ES_GC_OPTS="$ES_GC_OPTS -XX:MaxGCPauseMillis=200"

          fi

 

  (4)discover

      discovery.zen.ping.unicast.hosts: 建议配置master ip,master单独部署,不常重启影响。

 

四 索引库配置

    1)shard 数据量在100万左右(多了没测),没有聚合的场景,单shard比多shard效果好。

    2)preference查询参数可以将查询打在一个分配上,用于利用查询缓存,方便相似查询提升效率。

 

    其他:

     rountintKey:由于curd都需要携带,需要结合业务考虑是否适合使用。

 

其他:

  (1)Jest:集群发现代码:

      .discoveryEnabled(true)

      .discoveryFrequency(10l, TimeUnit.SECONDS)  // 需要设置好时间,es维护会影响这里的处理

      .discoveryFilter("type:arbitrary")

 

   public static JestClient jestClient() {
        JestClientFactory factory = new JestClientFactory();
        factory.setHttpClientConfig(
                new HttpClientConfig
                        .Builder(Arrays.asList("http://localhost:9200"))
                        .multiThreaded(true)
                        //一个route 默认不超过2个连接  路由是指连接到某个远程注解的个数。总连接数=route个数 * defaultMaxTotalConnectionPerRoute
                        .defaultMaxTotalConnectionPerRoute(10)
                        // 默认总连接数不超过20, 我们没有并发问题
                        .maxTotalConnection(30)
                        .connTimeout(10000)
                        .readTimeout(10000)
                        //客户端发现
                        .discoveryEnabled(true)
                        .discoveryFrequency(10l, TimeUnit.SECONDS)
                        .discoveryFilter("type:arbitrary")
                        .build()
        );
        return factory.getObject();
    }