全文检索python
程序员文章站
2022-07-01 09:53:26
...
####全文检索全文检索不同于特定字段的模糊查询，使用全文检索的效率更高，并且能够对于中文进行分词处理
#####haystack全文检索的框架，支持whoosh、solr、Xapian、Elasticsearc四种全文检索引擎，点击查看[官网](http://haystacksearch.org/)
#####whoosh纯Python编写的全文搜索引擎，虽然性能比不上sphinx、xapian、Elasticsearc等，但是无二进制包，程序不会莫名其妙的崩溃，对于小型的站点，whoosh已经足够使用，点击查看[whoosh文档](https://whoosh.readthedocs.io/en/latest/)
#####jieba一款免费的中文分词包，如果觉得不好用可以使用一些收费产品
#####django中的全文检索安装配置
1.依赖包安装
pip install django-haystack
pip install whoosh
2.在settings.py文件配置
- 注册应用
INSTALLED_APPS = (
...
'haystack', #全文检索框架
)
- 添加搜索引擎
# 全文检索框架的配置
HAYSTACK_CONNECTIONS = {
'default': {
# 使用whoosh引擎
'ENGINE': 'haystack.backends.whoosh_backend.WhooshEngine',
#'ENGINE': 'haystack.backends.whoosh_cn_backend.WhooshEngine',
# 索引文件路径
'PATH': os.path.join(BASE_DIR, 'whoosh_index'),
}
}
# 当添加、修改、删除数据时，自动生成索引
HAYSTACK_SIGNAL_PROCESSOR = 'haystack.signals.RealtimeSignalProcessor'
# 指定搜索结果每页显示的条数
HAYSTACK_SEARCH_RESULTS_PER_PAGE=1
3.在项目的urls.py中添加url
urlpatterns = [
...
path(r'search/', include('haystack.urls')), # 全文检索框架
]
4.索引文件生成
- 在应用目录(以goods为例)下建立search_indexes.py文件
# 定义索引类
from haystack import indexes
# 导入你的模型类
from goods.models import GoodsSKU
# 指定对于某个类的某些数据建立索引
# 索引类名格式:模型类名+Index
class GoodsSKUIndex(indexes.SearchIndex, indexes.Indexable):
# 索引字段 use_template=True指定根据表中的哪些字段建立索引文件的说明放在一个文件中
text = indexes.CharField(document=True, use_template=True)
def get_model(self):
# 返回你的模型类
return GoodsSKU
# 建立索引的数据
def index_queryset(self, using=None):
return self.get_model().objects.all()
- 在目录“templates/search/indexes/应用名称/”下创建“模型类名称_text.txt”文件
# 指定根据表中的哪些字段建立索引数据
{{ object.name }} # 根据商品的名称建立索引
{{ object.desc }} # 根据商品的简介建立索引
{{ object.goods.detail }} # 根据商品的详情建立索引
- 使用命令生成索引文件
python manage.py rebuild_index
5.搜索表单模板示例
#注意action和name的值是固定
<form action="/search" method="get">
<input type="text" class="input_text fl" name="q" placeholder="搜索商品">
<input type="submit" class="input_btn fr" name="" value="搜索">
</form>
6.在目录“templates/search/”下建立search.html
搜索出结果后，haystack会把搜索出的结果传递给templates/search目录下的search.html，传递的上下文包括：
query：搜索关键字
page：当前页的page对象 –>遍历page对象，获取到的是SearchResult类的实例对象，对象的属性object才是模型类的对象。
paginator：分页paginator对象
search.html示例
<!DOCTYPE html>
<html lang="en">
<head>
<meta charset="UTF-8">
<title>Title</title>
</head>
<body>
搜索的关键字:{{ query }}<br/>
当前页的Page对象:{{ page }}<br/>
<ul>
{% for item in page %}
<li>{{ item.object }}</li>
{% endfor %}
</ul>
分页paginator对象:{{ paginator }}<br/>
</body>
</html>
7.改变分词方式(jieba分词模块)
1.安装jieba分词模块
pip install jieba
2.进入到项目环境目录
cd ~/anaconda3/envs/myshop-py3.6.2-dj2.0/lib/python3.6/site-packages/haystack/backends
3.在上面的目录中创建ChineseAnalyzer.py文件
import jieba
from whoosh.analysis import Tokenizer, Token
class ChineseTokenizer(Tokenizer):
def __call__(self, value, positions=False, chars=False,
keeporiginal=False, removestops=True,
start_pos=0, start_char=0, mode='', **kwargs):
t = Token(positions, chars, removestops=removestops, mode=mode, **kwargs)
seglist = jieba.cut(value, cut_all=True)
for w in seglist:
t.original = t.text = w
t.boost = 1.0
if positions:
t.pos = start_pos + value.find(w)
if chars:
t.startchar = start_char + value.find(w)
t.endchar = start_char + value.find(w) + len(w)
yield t
def ChineseAnalyzer():
return ChineseTokenizer()
4.复制whoosh_backend.py文件，改为如下名称whoosh_cn_backend.py
cp whoosh_backend.py whoosh_cn_backend.py
5.打开复制出来的新文件，引入中文分析类，内部采用jieba分词。
from .ChineseAnalyzer import ChineseAnalyzer
6.更改词语分析类
查找
analyzer=StemmingAnalyzer()
改为
analyzer=ChineseAnalyzer()
7.修改settings.py文件中的配置项
调整引擎
'ENGINE': 'haystack.backends.whoosh_backend.WhooshEngine',
为
'ENGINE': 'haystack.backends.whoosh_cn_backend.WhooshEngine',
8.重新创建索引数据
python manage.py rebuild_index