欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

Solr-DIH建立索引并执行简单初步的查询 博客分类: 系统实现开源分析solr&lucene solrmmseg4j 

程序员文章站 2024-03-22 20:43:22
...
我们将solr的安装目录设置为$SOLR_INSTALL,
 
./solr start,不使用任何原有的examples来进行,启动完成后,不存在任何的core,提示No cores available。
 
在手动执行Add Core操作时,需要保证instanceDir和dataDir事先必须存在,以便能够建立目录成功。
 

Solr-DIH建立索引并执行简单初步的查询
            
    
    博客分类: 系统实现开源分析solr&lucene solrmmseg4j 
 
 
根据错误提示,目录应该建立在$SOLR_INSTALL/server/solr/下,且必须保证存在对应的配置文件;可以从example/conf目录下拷贝所有的配置文件至该目录下(solrconfig.xml,managed-schema等文件也必须存在)。
 
在solrconfig.xml配置文件中,增加requestHandler来处理数据导入相关:
 
<requestHandler name="/dataimport" class="solr.DataImportHandler">
    <lst name="defaults">
      <str name="config">db-data-config.xml</str>
    </lst>
  </requestHandler>
 
 
由于使用DIH需要依赖其他的jar包,所以需要定义lib标签,dataimporthandler的相关jar包在${SOLR_INSTALL}/dist下:
 
  
<lib dir="${solr.install.dir:../../../..}/dist/" regex="solr-dataimporthandler-.*\.jar" />  
 
 
需要定义db-data-config.xml配置文件,对应数据库相关的配置以及商品查询相关配置:
 
<dataConfig>  
  <dataSource type="JdbcDataSource"  
              driver="com.mysql.jdbc.Driver"  
              convertType="true"  
              url="jdbc:mysql://xxxx"  
              user="xxx"  
              password="xxx"/>  
  <document>  
    <entity name="gt_goods" query="select goods_id, goods_sn, goods_name,price, stock from gt_goods" >  
    </entity>  
  </document>  
</dataConfig>  
 
 
注意,我们使用到的mysql驱动需要在目录下存在:$SOLR_INSTALL/server/solr-webapp/webapp/WEB-INF/lib。
 
entity标签的配置需要与另外一个配置文件配合使用:schema.xml(新版本后名称已经改为managed-schema),在其中定义了field和fieldtype,根据我们前面的配置需要重新定义。
 
在schema.xml(managed-schema)中,需要将对应的unique-key等标签设置正确,否则系统启动时会进行校验并提示错误。
 
但是启动后,提示no dataimport-handler defined!
 


Solr-DIH建立索引并执行简单初步的查询
            
    
    博客分类: 系统实现开源分析solr&lucene solrmmseg4j 
 
 
 
原来居然是配置文件没有保存成功,出现下面的界面后,说明/dataimport已经可用:
 

Solr-DIH建立索引并执行简单初步的查询
            
    
    博客分类: 系统实现开源分析solr&lucene solrmmseg4j 
 
 
但是却没有索引成功,提示下面的相关信息:
 

Last Update: 20:41:08

Indexing completed. Added/Updated: 0 documents. Deleted 0 documents. (Duration: 12s)
Requests: 1 (0/s)Fetched: 54223 (4519/s)Skipped: 0, Processed: 0 (0/s)
Started
 
没有增加任何documents,持续十二秒,根据fetched的size,拿到的数据库表记录条目数量与count(*)得到的结果一致,但是却没有加入任何的数据。
 
经过一通查找,将managed-schema中的<schema name="gt_goods" version="1.6”>需要与db-data-config.xml文件中的entity标签名称保持一致:    <entity name="gt_goods" query="select goods_id, goods_sn, goods_name,price, stock from gt_goods" >  。
 
执行后,仍然没有成功(说明不是前一步导致),最后发现将所有的dynamicField都已经被删除,加上一个就可以了:
 
<dynamicField name="*"  type="string"  indexed="true"  stored="true" />
 
 
分词策略
 
我们使用提供的query进行查询时,例如查询商品名称 goods_name:刺绣花边,查出的结果为472条,经过对查询结果的分析,可以看出与下面的查询非常类似,solr只是简单地对词语进行逐字分词查询。
 
select count(*) from gt_goods where goods_name like '%刺%' or goods_name like '%花%' or goods_name like '%边%' or goods_name like '%绣%';
 
 
这种分词对于查询来说非常原始,而且不准确。
 


Solr-DIH建立索引并执行简单初步的查询
            
    
    博客分类: 系统实现开源分析solr&lucene solrmmseg4j 
 
 
 
mmseg4j
 
 
加入依赖,对于mmseg4j的支持,以及lucene-analysis的实现,便于以后加入到solr中。
 
<dependency>
            <groupId>com.chenlb.mmseg4j</groupId>
            <artifactId>mmseg4j-core</artifactId>
            <version>1.9.1</version>
        </dependency>

        <dependency>
            <groupId>com.chenlb.mmseg4j</groupId>
            <artifactId>mmseg4j-analysis</artifactId>
            <version>1.9.1</version>
        </dependency>
 
 
在mmseg4j-core-with-dic中(只有1.8.6版本)有example包,对应各种分词策略的示例,执行main()函数即可。此外,还包括/data/目录,用于存放mmseg4j用到的中文字典文件。
 
字典文件的加载是从Dictionary.getInstance()开始,public static Dictionary getInstance(),从默认目录加载词库文件,查找默认目录顺序:
  • 从系统属性mmseg.dic.path指定的目录中加载
  • 从classpath/data目录
  • 从user.dir/data目录
 
可以加载自定义分词的文件,加载words-xxx.dic作为扩展词库目录,我们可以根据需要在该目录下加上对应的词组。
 
我们在普通情况下,并不会将“阿玛尼”作为一个品牌,拆出来的词以每个单词划分:“阿 | 玛 | 尼”;而当我们在文件words-xxx.dic中加入该单词后,就可以正常地将该词分开。
 
在managed-schema中加入mmseg4j的这3种分析类型:
 
<fieldType name="text_mmseg4j_simple" class="solr.TextField" positionIncrementGap="100">
      <analyzer type="index">
        <tokenizer class="com.chenlb.mmseg4j.solr.MMSegTokenizerFactory" mode="simple" dicPath="/Users/xxx/develop/tools/solr-5.5.0/data"/>
      </analyzer>
    </fieldType>
    <fieldType name="text_mmseg4j_complex" class="solr.TextField" positionIncrementGap="100">
      <analyzer type="index">
        <tokenizer class="com.chenlb.mmseg4j.solr.MMSegTokenizerFactory" mode="complex" dicPath="/Users/xxx/develop/tools/solr-5.5.0/data"/>
      </analyzer>
    </fieldType>
    <fieldType name="text_mmseg4j_maxword" class="solr.TextField" positionIncrementGap="100">
      <analyzer type="index">
        <tokenizer class="com.chenlb.mmseg4j.solr.MMSegTokenizerFactory" mode="max-word" dicPath="/Users/xxx/develop/tools/solr-5.5.0/data"/>
      </analyzer>
    </fieldType>
 
 
并设置我们使用的goods_name为这种类型:
 
   <field name="goods_name" type="text_mmseg4j_complex" indexed="true" stored="true"/>
 
重启solr,显示该core已经无法正常加载出来:
 
xxx: org.apache.solr.common.SolrException:org.apache.solr.common.SolrException: Could not load conf for core zhentest: Can't load schema /Users/xxx/develop/tools/solr-5.5.0/server/solr/zhentest/conf/managed-schema: Plugin init failure for [schema.xml] fieldType "text_mmseg4j_simple": Plugin init failure for [schema.xml] analyzer/tokenizer: Error loading class 'com.chenlb.mmseg4j.solr.MMSegTokenizerFactory'
 
 
原因是我们依赖的jar包并没有加入到WEB-INF/lib中,此外还需要依赖:
 
<dependency>
            <groupId>com.chenlb.mmseg4j</groupId>
            <artifactId>mmseg4j-solr</artifactId>
            <version>1.9.1</version>
        </dependency>
 
 
作为mmseg4j和solr之间的桥梁,否则会出现com.chenlb.mmseg4j.solr.MMSegTokenizerFactory找不到的错误。
 
版本兼容也是一个大问题,最终的依赖关系为:
 
  • solr: 5.5.0
  • mmseg4j-solr: 2.3.0
  • mmseg4j-core: 1.10.0
 
终于成功查询出商品的结果:
 

Solr-DIH建立索引并执行简单初步的查询
            
    
    博客分类: 系统实现开源分析solr&lucene solrmmseg4j 
 
 
因为之前索引用到的数据也没有经过合理地分词,所以在更改分词策略后,需要对所有的数据进行统一的/dataimport操作。在对所有的数据进行重新整理后,查询出来的记录条目数量就可以满足基本的需求,在对“刺绣花边”进行搜索时,就可以查询出最终的结果与下面的sql查询数量保持一致(因为words.dic中存在“刺绣”和“花边”两个词):
 
select count(*) from gt_goods where goods_name like '%刺绣%' or goods_name like '%花边%';
 
 
 
 
  • Solr-DIH建立索引并执行简单初步的查询
            
    
    博客分类: 系统实现开源分析solr&lucene solrmmseg4j 
  • 大小: 96.6 KB
  • Solr-DIH建立索引并执行简单初步的查询
            
    
    博客分类: 系统实现开源分析solr&lucene solrmmseg4j 
  • 大小: 128.8 KB
  • Solr-DIH建立索引并执行简单初步的查询
            
    
    博客分类: 系统实现开源分析solr&lucene solrmmseg4j 
  • 大小: 21.2 KB
  • Solr-DIH建立索引并执行简单初步的查询
            
    
    博客分类: 系统实现开源分析solr&lucene solrmmseg4j 
  • 大小: 84.3 KB
  • Solr-DIH建立索引并执行简单初步的查询
            
    
    博客分类: 系统实现开源分析solr&lucene solrmmseg4j 
  • 大小: 65.3 KB
  • Solr-DIH建立索引并执行简单初步的查询
            
    
    博客分类: 系统实现开源分析solr&lucene solrmmseg4j 
  • 大小: 34.9 KB
相关标签: solr mmseg4j