基于Elasticsearch的搜索优化

高吞吐量查询优化

因业务扩展，es 内数据不断增多，查询压力也不断增大，直至已经严重影响用户体验，故需进行彻底整改。

在整改过程中，经过不断尝试，关于 ES 查询方面总结为以下几点：

升级ES

随着用户量的增加，必不可少的采取了加机器、换SSD等措施，同时升级es，ES6.0性能较之前会有大幅提升。

自定义分词器

因业务原因，例如“美的”这类特殊词汇的监测等等，改造了分词器，变成了单字分词。

但单字分词，有利有弊，随着业务增加，弊端不断暴露，如一个 “的” 字对应的文档数量几乎等同于所有的文档数量，导致查询速度急速下降。

采用bigrams

?n-grams 方式，将含有m个字符的一句话拆分成m-1个n字符词汇，依次查询并组合结果集，这种查询会使查询效率在一定程度上有所提高，毕竟减少了每个词所需检索的文档数。

这种方式的弊端：不能适应单字查询与距离查询，须通过业务逻辑来满足业务需求。

巧用filter过滤

es 的过滤器有缓存的功能，且会优先进行过滤器里面的查询条件，综合自己的业务场景，提炼出一些能够大大减少文档数且相对固定的过滤词，能够大大提升查询效率，相对固定是为了能够复用缓存数据。如有必要，可推动改进业务需求来满足这一点。

查询语句优化

对于多个词的搜索，在使用多个单词query_string、should连接，单个多词query_string，match_phrase的方式都可以的情况下，这几种方式性能优劣是怎样的呢？

下面是具体场景的测试用例：

		query_string?(0) （多个主体词空格分隔）				query_string?(1) （单个主体词）				?match?(2) （单个主体词）??
		非bigram方式(0)		bigram方式?(1)		非bigram方式(0)?		bigram方式??(1)		非bigram方式(0)		bigram方式?(1)
用例编号	是否过滤	命中量	用时ms	命中量	用时ms	命中量	用时ms	命中量	用时ms	?命中量	用时ms	?命中量	用时ms?
1	不加过滤(0)	11977	4046	11977	4046	11977	4046	11977	4046	11977	4046	11977	4046
	主体过滤(1)	11161	4063	2624	2559	3520	5300	2475	2233	2472	2886	2472	3352
	关键词过滤(3)	11997	6299	11997	5179	11997	5010	11997	4081	11997	4094	11997	3700
2	不加过滤	732	11532	732	11532	732	11532	732	11532	732	11532	732	11532
	主体过滤	730	11855	726	3570	729	13105	726	3525	726	6557	726	9565
	关键词过滤	733	37096	733	15603	733	15919	733	8616	733	18386	733	8773
3	不加过滤	24697	546	24697	546	24697	546	24697	546	24697	546	24697	546
	主体过滤	24697	109	24695	118	24697	383	24695	72	24695	220	24695	180
	关键词过滤	24695	309	24695	96	24695	120	24695	82	24695	82	24695	90
4	不加过滤	455	28437	455	28437	455	28437	455	28437	455	28437	455	28437
	主体过滤	453	29294	451	8166	452	29958	451	8237	451	11586	451	14432
	关键词过滤	456	59674	456	33758	456	33569	456	20128	456	30771	456	20193
5	不加过滤	1540	3412	1540	3412	1540	3412	1540	3412	1540	3412	1540	3412
	主体过滤	1540	3487	1542	2764	1540	4962	1542	2613	1542	3341	1542	3515
	关键词过滤	1542	7650	1542	3971	1542	6345	1542	3428	1542	3600	1542	3409
6	不加过滤	9724	22541	9724	22541	9724	22541	9724	22541	9724	22541	9724	22541
	主体过滤	9724	22809	9742	22356	9724	26506	9742	22276	9742	23226	9742	25104
	关键词过滤	9742	31445	9742	26589	9742	26867	9742	26092	9742	23635	9742	24348

 

	?	?	?	?	?
用例编号	用例名称	主体词	关键词	全文排除词	?
1	家乐福	家乐福	<家乐福 食品安全~15|<家乐福 企业社会责任~15|<家乐福 O2O~15|<家乐福 电商~15|<家乐福 行业态势~15|<家乐福 生鲜~15|<家乐福 可持续发展~15|<家乐福 新零售~15|<沃尔玛 食品安全~10|<沃尔玛 企业社会责任~10|<沃尔玛 O2O~10|<沃尔玛 电商~10|<沃尔玛 行业态势~10|<沃尔玛 生鲜~10|<沃尔玛 可持续发展~10|<沃尔玛 新零售~10|<永辉超市 食品安全~15|<永辉超市 企业社会责任~15|<永辉超市 O2O~15|<永辉超市 电商~15|<永辉超市 行业态势~15|<永辉超市 生鲜~15|<永辉超市 可持续发展~15|<永辉超市 新零售~15|盒马生鲜|<盒马生鲜 新零售~15	?	?
2	东升产品信息	东升,博展	东升大厦|智造大街绿能基地|绿色能源产业基地|东升凯莱酒店|林萃路商务酒店|清河商务酒店|清河桥商务酒店|学清路商务酒店|La Vie商业广场|66号成长屋|东升加速器|东升孵化器|东升杯创业大赛|东升博展物业|博展投资|东升知春物业|东升博展酒店|悦华庭酒店|东升博展科技|东升科技企业加速器|东昇合创科技孵化器|三符整合营销机构|((东升科技园|东升集团|东升博展)&(一卡通|ville商业街|梦想家园|伊布里克咖啡|果士芙|钰花溪|北领地|赛百味|没名儿生煎|咖啡陪你|吃茶去|张亮麻辣烫|7-11|奥力健身房|汉堡王|吉野家|明洞邦|面爱面|海南鸡饭|居酒屋|乐刻健身|星巴克咖啡|鲍师傅|DQ))|(东升科技园|东升博展|博展集团)&(投融资|小额贷|直投|基金|信用评估)|((王小东|陈斌|李宝林|徐振辉|卢金玲|颜海军|刘亚洁|续卫国|刘新强|符志刚|卢维维|代庆|党玉林|郭小庆|余熊杰|张奕)&(博展|东升博展))	?	?
3	礼品	礼品	礼品	?	?
4	东升产品信息+排除	东升,博展	东升大厦|智造大街绿能基地|绿色能源产业基地|东升凯莱酒店|林萃路商务酒店|清河商务酒店|清河桥商务酒店|学清路商务酒店|La Vie商业广场|66号成长屋|东升加速器|东升孵化器|东升杯创业大赛|东升博展物业|博展投资|东升知春物业|东升博展酒店|悦华庭酒店|东升博展科技|东升科技企业加速器|东昇合创科技孵化器|三符整合营销机构|((东升科技园|东升集团|东升博展)&(一卡通|ville商业街|梦想家园|伊布里克咖啡|果士芙|钰花溪|北领地|赛百味|没名儿生煎|咖啡陪你|吃茶去|张亮麻辣烫|7-11|奥力健身房|汉堡王|吉野家|明洞邦|面爱面|海南鸡饭|居酒屋|乐刻健身|星巴克咖啡|鲍师傅|DQ))|(东升科技园|东升博展|博展集团)&(投融资|小额贷|直投|基金|信用评估)|((王小东|陈斌|李宝林|徐振辉|卢金玲|颜海军|刘亚洁|续卫国|刘新强|符志刚|卢维维|代庆|党玉林|郭小庆|余熊杰|张奕)&(博展|东升博展))	大城县东升大厦西侧,清代,第一代,招聘,出租,招租,www.454726.net,求租,请选择网点,吃过8家以上才算真吃货,以下是海口在,1室1厅,附近有苏果超市和欧尚超市有环宇城,呷哺呷哺,长兴欧洲花园,两间门面,霍兰公寓,中梁集团,2房2厅,到珍珠园饭店怎么走,嘉兴万家汇,请选择网点,上海收人头马路易十三洋酒礼盒路易十三洋酒回收价格上门回收,公交沧海路百丈东路口站往北移200米,金隅国际到欧尚超市来广营店怎么走,汇金国际广场-欢迎您实地考察,公交站点集合出发,二手房,房屋类型,周边配套设施,小区建筑面积,无中介费,拎包入住,区周边配套,租房合同,蜀汉路欧尚超市后面,房屋精装修,骑行溧水石湫农家乐,房屋户型,学府具体位置,四室二厅,一室一厅,二室一厅,二室二厅,三室一厅,三室二厅,怎么坐公交车,张国银老师卓越团队管理专家曾任,1室1厅,2室1厅,3室1厅,2室2厅,3室2厅,4室2厅,吴江-国贸商业中心,吴江国贸中心,吴江国贸商业中心,国贸商业中心销售热线,不收中介费,杨公井捷安特活动,小区规划,小区配套,租金可谈,两室一厅,两室两厅,两室二厅,租房子,转租,无中介,押一付三,押一付一,押二付二,押一付二,押二付一,月付,自家宝宝穿的,楼盘,年产权,看房时间,看房人数,合租,20号、21号海阳连理岛赏胶东半岛最美油菜花,售楼处,欧尚超市门口乘,天行健健身,看房热线,现房,房屋信息,一室两厅,一室二厅,48路、209路、847路75路、36路,欧尚超市正对面,欧尚超市斜对面,公益徒步大会活动,家养小猫还剩,原本夜逛嘉兴月河计划泡汤,镇江酷跃蹦床主题公园VIP体验卡,中吴大道兰陵路三院欧尚超市东,改善型品质住宅,生态居住环境,三室两厅,四室两厅,二室两厅	?
5	高鑫零售	高鑫,大润发	<(高鑫零售|高鑫超市) (食品安全|企业社会责任|"OTO"|电商|行业态势|生鲜|可持续发展)~20|<大润发 食品安全~20|<大润发 企业社会责任~20|<大润发 "OTO"~20|<大润发 电商~20|<大润发 行业态势~20|<大润发 生鲜~20|<大润发 可持续发展~20	?	?
6	北京医改	北京,医改	<北京 医事服务费|医药分开|挂号费|公立医院改革|公立医院的综合改革|医院综合改革|医疗服务价格|阳光采购|医药分开|医药集中采购|医药集中招标|药品集中采购|药品集中招标|药物采购|医疗改革|医改新政|分机诊疗|医药分开综合改革|医改新政|以药补医|以药养医|零差率销售|医改|医院综合改革|医药卫生*|药品加成|医疗服务价格|药品零差率|社会办医~30	?	?

结论：

针对测试结果，单词query_string方式 + bigrams + 主体过滤效果最好

（注：此处的bigrams只针对过滤词，不针对话题语法）

延伸测试：

最优方式 + 话题关键词bigram：

在此基础上，对于非距离话题的话题语法部分? 使用bigrams方式? 进行进一步测试，结果如下：

话题2? ? 命中量：726? ? ? ? ? 用时：717? ? ? ? ? ? ? ? ? （原测试最优结果? ??命中量：726? ? ? ??用时：3525 ）

话题3? ? 命中量：24695? ? ? 用时：74? ? ? ? ? ? ? ? ? ? （原测试最优结果? ??命中量：24695? ??用时：72 ）

话题4? ? 命中量：451? ? ? ? ? 用时：1951? ? ? ? ? ? ? ? （原测试最优结果? ??命中量：451? ? ? ? 用时：8237）

效果较好

按时间建立索引

对于这些业务场景的查询，一般都会有时间的范围限制，可以针对具体的业务场景做一些变更，例如本案例中的业务场景多数会查看使用近一天、近三天的数据，一个是可以采用es新版本提供的关于近几天时间的过滤查询，另一种就是在es集群创建索引的规则上做一些处理。

关于时间索引，可以按天创建索引，也可以按月创建索引，根据业务需要做不同选择，那么问题来了，随着时间的推移，索引数量会越来越多，对es的性能也会有影响。这时候我们会发现，对于历史悠久的数据不会经常被使用，这部分数据称之为冷数据，这些数据就可以集中放在一个索引中，有使用需求时直接去这个里面查询即可，随之而来的工作量就是数据迁移以及数据清理工作，对于根本不会使用的数据要及时清理。

以上就是对于查询部分的优化探索之路，仅查询部分速率提升了20%。

不过此次整改不仅针对es查询做了优化，还使用了业务缓存，整体性能提升显著，百万级别的数据搜索达到秒级别，虽解决了问题，但是es的优化还在不断进行中。