有一个五千左右的关键词库,怎么最快的匹配出一篇文章(800字左右)上的关键词
程序员文章站
2022-06-03 09:17:56
...
有一个五千左右的关键词库,怎么最快的匹配出一篇文章(800字左右)上的关键词
回复内容:
有一个五千左右的关键词库,怎么最快的匹配出一篇文章(800字左右)上的关键词
用关键词建立一个哈希表,然后依次查找文章里的单词是否在其中。
结...结...巴, 结巴中文分词
构建一个关键词的树
具体实现看这篇文章
从你词库和文章字数的量上看,貌似都不大,如果业务需求上确实就这么大,感觉不需要做分词,引入外部库什么的。
直接遍历词库中的词,去逐一匹配一遍文章就好。当然,也可以先检测下词库中,有没有包含词如“鞋”,“女鞋”这种,建立一个树,然后在与文章匹配,前提是你的词库中存在这种词,业务允许等。
将关键词库预编译成自动机,然后再去文章中查询,实际开发中就用正则表达式的方式实现即可。