欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识！
您现在的位置是： 首页

Solr入门 博客分类： 开源分析系统使用solr&lucene solr 

程序员文章站 2024-03-22 20:43:28
...
 
由于现公司要强化一下搜索相关的功能，特对Solr及Lucene进行简要的研究，并做一些个人总结。 
 
Solr采用Lucene搜索库为核心，提供全文索引和搜索的开源企业平台，提供REST的HTTP/XML和JSON的API。
 
Solr项目的英文主页：http://lucene.apache.org/solr/，其中介绍了Solr的基本情况：Solr is highly reliable, scalable and fault tolerant, providing distributed indexing, replication and load-balanced querying, automated failover and recovery, centralized configuration and more. Solr powers the search and navigation features of many of the world's largest internet sites.
 

1. 下载并开始启动系统

 
我们可以从教程中的起始页面中开始我们的solr探索之旅：http://lucene.apache.org/solr/quickstart.html
 
将solr的jar包解压后，就可以在/bin目录下启动solr，执行命令后的结果为：
 
./solr start -e cloud -noprompt

Welcome to the SolrCloud example!

Starting up 2 Solr nodes for your example SolrCloud cluster.

Creating Solr home directory /Users/mazhiqiang/develop/tools/solr-5.5.0/example/cloud/node1/solr
Cloning /Users/mazhiqiang/develop/tools/solr-5.5.0/example/cloud/node1 into
   /Users/mazhiqiang/develop/tools/solr-5.5.0/example/cloud/node2

Starting up Solr on port 8983 using command:
/Users/mazhiqiang/develop/tools/solr-5.5.0/bin/solr start -cloud -p 8983 -s "/Users/mazhiqiang/develop/tools/solr-5.5.0/example/cloud/node1/solr"

Waiting up to 30 seconds to see Solr running on port 8983 [/]  
Started Solr server on port 8983 (pid=2835). Happy searching!


Starting up Solr on port 7574 using command:
/Users/mazhiqiang/develop/tools/solr-5.5.0/bin/solr start -cloud -p 7574 -s "/Users/mazhiqiang/develop/tools/solr-5.5.0/example/cloud/node2/solr" -z localhost:9983

Waiting up to 30 seconds to see Solr running on port 7574 [/]  
Started Solr server on port 7574 (pid=2931). Happy searching!


Connecting to ZooKeeper at localhost:9983 ...
Uploading /Users/mazhiqiang/develop/tools/solr-5.5.0/server/solr/configsets/data_driven_schema_configs/conf for config gettingstarted to ZooKeeper at localhost:9983

Creating new collection 'gettingstarted' using command:
http://localhost:8983/solr/admin/collections?action=CREATE&name=gettingstarted&numShards=2&replicationFactor=2&maxShardsPerNode=2&collection.configName=gettingstarted

{
  "responseHeader":{
    "status":0,
    "QTime":6977},
  "success":{"":{
      "responseHeader":{
        "status":0,
        "QTime":6686},
      "core":"gettingstarted_shard2_replica2"}}}

Enabling auto soft-commits with maxTime 3 secs using the Config API

POSTing request to Config API: http://localhost:8983/solr/gettingstarted/config
{"set-property":{"updateHandler.autoSoftCommit.maxTime":"3000"}}
Successfully set-property updateHandler.autoSoftCommit.maxTime to 3000


SolrCloud example running, please visit: http://localhost:8983/solr
 
 
通过控制台中的输出内容，或者查看jps可以发现，solr启动了两个进程，分别对应两个端口8983，以及7574：
 
jps -ml
2835 start.jar -XX:OnOutOfMemoryError=/Users/mazhiqiang/develop/tools/solr-5.5.0/bin/oom_solr.sh 8983 /Users/mazhiqiang/develop/tools/solr-5.5.0/example/cloud/node1/solr/../logs --module=http
2931 start.jar -XX:OnOutOfMemoryError=/Users/mazhiqiang/develop/tools/solr-5.5.0/bin/oom_solr.sh 7574 /Users/mazhiqiang/develop/tools/solr-5.5.0/example/cloud/node2/solr/../logs --module=http
344 
3004 sun.tools.jps.Jps -ml
 
 
可以在服务器的对应端口上，查看到solr的example页面：http://localhost:8983/solr/#/
 

Solr入门 博客分类： 开源分析系统使用solr&lucene solr 
 
 
 
同样，如果将端口换成7574页面与8983一致。
 
也可以在cloud tab中看到整体结构图，solr运行在两个节点上:
 

Solr入门 博客分类： 开源分析系统使用solr&lucene solr 
 
 

2.索引数据(Indexing Data)

 
系统启动完成后，solr server就已经在后台运行了，但是其中什么数据都没有。Solr在bin目录中提供了一个post工具，用于一开始就帮助方便地向solr中添加各种类型的documents。
 
可以使用post工具来处理类似html, pdf, ms-office, plain text等各种格式的文本，可以根据目录去递归爬取文件至Solr，用于抽取（extraction）和索引（indexing）。
 
调用bin/post -c gettingstarted docs/ 来加入所有docs目录下的文档，在控制台中输出如下：
 
bin/post -c gettingstarted docs/

/Library/Java/JavaVirtualMachines/jdk1.8.0_05.jdk/Contents/Home/bin/java -classpath /Users/mazhiqiang/develop/tools/solr-5.5.0/dist/solr-core-5.5.0.jar -Dauto=yes -Dc=gettingstarted -Ddata=files -Drecursive=yes org.apache.solr.util.SimplePostTool docs/
SimplePostTool version 5.0.0
Posting files to [base] url http://localhost:8983/solr/gettingstarted/update...
Entering auto mode. File endings considered are xml,json,jsonl,csv,pdf,doc,docx,ppt,pptx,xls,xlsx,odt,odp,ods,ott,otp,ots,rtf,htm,html,txt,log
Entering recursive mode, max depth=999, delay=0s
Indexing directory docs (3 files, depth=0)
POSTing file index.html (text/html) to [base]/extract
POSTing file quickstart.html (text/html) to [base]/extract
POSTing file SYSTEM_REQUIREMENTS.html (text/html) to [base]/extract
Indexing directory docs/changes (1 files, depth=1)
POSTing file Changes.html (text/html) to [base]/extract
Indexing directory docs/images (0 files, depth=1)
Indexing directory docs/solr-analysis-extras (8 files, depth=1)
 
 
可以看出，是根据目录去逐层Indexing，并POSTing至Solr中，直至所有的文档都已经处理完成，共处理约4000个文件。
 
POSTing file VelocityResponseWriter.html (text/html) to [base]/extract
Indexing directory docs/solr-velocity/resources (0 files, depth=2)
3937 files indexed.
COMMITting Solr index changes to http://localhost:8983/solr/gettingstarted/update...
Time spent: 0:01:12.141
 
 
注意，这里的-c gettingstarted为索引的集合名称（暂时不知道干什么用的）。
 
在上一步已经执行完成后，就可以在搜索页面中进行查询（其中需要带上collection的名称），并查询出结果：
 
 
具体查询的方式可以看solr相关的wiki，可以独立一篇详细研究。
 
也可以通过collection的browse方式来查询出所有的POSTing过去的数据：
 
 
除了可以索引这些通用的文档数据类型，solr还支持索引XML（称之为Solr Xml），JSON（称之为Solr JSON），CSV文件（用逗号，停顿分列的值）。这些文件类型都是solr默认支持的，此外还提供几种其他的方式来indexing数据：
 
  • Import records from a database using the Data Import Handler (DIH)；如果需要导入数据库的记录，使用DIH；
  • Use SolrJ from JVM-based languages or other Solr clients to programatically create documents to send to Solr；如果需要从基于JVM的语言或其他Solr客户端自动程序化地创建文档，使用SolrJ；
  • Use the Admin UI core-specific Documents tab to paste in a document to be indexed, or select Document Builder from the Document Type dropdown to build a document one field at a time. Click on the Submit Document button below the form to index your document；可以选择从Solr的文档中心中粘贴Documents的方式来indexing数据，例如：http://localhost:8983/solr/#/gettingstarted_shard2_replica1/documents；
 
 

3.更新数据

 
可以注意到，即使你将index的内容重复操作，执行多次，对于最终的结果而言，也不会重复，这是因为我们启动的solr example项目的配置文件中：
 
solr-5.5.0/example/files/conf/managed-schema
 
 
已经指定了uniqueKey作为最终的id；而当你POST一个新的文档至Solr中试图index同样的uniqueKey时，会自动进行替换的操作。
 
 
 

4.删除数据

 
 
可以通过POST命令的方式，指定要删除的unique key字段，或是指定一个查询条件来匹配多个文档（如果这样操作的话，要多加小心！）。
 
可以调用下面的命令从gettingstarted collection删除指定id的数据：
 
/bin/post -c gettingstarted -d “<delete><id>1212312312dfasfd</id></delete>"
 
 

5.执行搜索

 
Solr可以通过多种方式进行查询操作，比如Rest客户端，curl, wget, Chrome POSTMAN，以及通过各种编程语言的客户端来进行查询操作。
 
Solr Admin UI包含了一个查询构建接口编辑器，启动Solr的相关地址为：
 
 
如果使用默认的条件查询，不用输入任何条件，此时就会默认返回10条记录，用json的格式：
 

Solr入门 博客分类： 开源分析系统使用solr&lucene solr 
 
 
在右上的顶部会自动将请求的url填写上去，如果在Linux/Mac上使用curl工具，可以给同样的url来进行查询工作，例如：
 
curl "http://localhost:8983/solr/gettingstarted_shard1_replica1/select?q=*%3A*&wt=json&indent=true"
 
 
q字段也就是查询使用的字段：
 
  • 如果设置为*:*，表示不过滤任何字段，全部查询出来；
  • 如果设置为foundation，表示只要文档中包含foundation，就查询出来；
  • 如果设置为name:foundation，指的是匹配名称name为foundation的文档，如果name这个字段并没有设置（所有文档都没有这个属性），则出现错误；
  • 如果要查询一个短语，其中包含多个词，可以使用q=CAS+foundation的方式，表示查询的字段为“CAS foundation”；
  • 如果要限制查询出来的字段仅包含某个或某几个属性，使用fl字段，例如fl=id，多个可以用逗号分隔；
  • 如果需要搜索既包含one又包含two的文档，可以使用+前缀，q=%2Bone+%2Btwo（由于加号在q字段中表示空格，因此需要转义）；反之，如果需要搜索到包含one但不包含two的文档，使用-前缀，q=%2Bone+-two；
 
如果需要更加深入地了解solr中的查询，可以参考solr关于查询的wiki：https://cwiki.apache.org/confluence/display/solr/Searching
 

6.清理

 
我们刚才导入了很多的数据，如果需要从初始环境开始，那么就需要对当前的环境进行清理，并删除Index进来的所有数据：
 
bin/solr stop -all;
rm -Rf example/cloud/
 
 
<!--?xml version="1.0" encoding="UTF-8" standalone="no"?-->

Solr脚本选项

 
可以使用bin/solr脚本工具来进行，需要使用bin/solr脚本，执行
 
./solr -help
 
 
如果需要看特定指令的帮助，例如start命令，可以使用
 
./solr start -help
 
 
一般情况下，执行./solr start命令是在后台启动的，如果想将其放到前台(foreground)，可以使用
 
./solr start -f
 
 
可以通过-p指定启动端口，默认端口为8983，
 
当命令并没有在前台执行时，可以使用solr的stop命令来终止特定端口下的solr，
 
./solr stop -p 8983
Sending stop command to Solr running on port 8983 ... waiting 5 seconds to allow Jetty process 2835 to stop gracefully.
 
 
此时可以发现另外的solr实例仍然运行（默认还存在一个占用端口为7574的实例，其管理界面仍然是可用的），如果想要将所有的实例都kill掉，可以在stop后面加 -all。
 
在下载的solr完整包中我们可以直接使用solr提供的examples帮助我们迅速了解其关键性能，调用：
 
./solr -e techproducts
Solr home directory /Users/mazhiqiang/develop/tools/solr-5.5.0/example/techproducts/solr already exists.

Starting up Solr on port 8983 using command:
/Users/mazhiqiang/develop/tools/solr-5.5.0/bin/solr start -p 8983 -s "/Users/mazhiqiang/develop/tools/solr-5.5.0/example/techproducts/solr"

Waiting up to 30 seconds to see Solr running on port 8983 [/]  
Started Solr server on port 8983 (pid=4113). Happy searching!


Copying configuration to new core instance directory:
/Users/mazhiqiang/develop/tools/solr-5.5.0/example/techproducts/solr/techproducts

Creating new core 'techproducts' using command:
http://localhost:8983/solr/admin/cores?action=CREATE&name=techproducts&instanceDir=techproducts

{
  "responseHeader":{
    "status":0,
    "QTime":1945},
  "core":"techproducts"}


Indexing tech product example docs from /Users/mazhiqiang/develop/tools/solr-5.5.0/example/exampledocs
SimplePostTool version 5.0.0
Posting files to [base] url http://localhost:8983/solr/techproducts/update using content-type application/xml...
POSTing file gb18030-example.xml to [base]
POSTing file hd.xml to [base]
POSTing file ipod_other.xml to [base]
POSTing file ipod_video.xml to [base]
POSTing file manufacturers.xml to [base]
POSTing file mem.xml to [base]
POSTing file money.xml to [base]
POSTing file monitor.xml to [base]
POSTing file monitor2.xml to [base]
POSTing file mp500.xml to [base]
POSTing file sd500.xml to [base]
POSTing file solr.xml to [base]
POSTing file utf8-example.xml to [base]
POSTing file vidcard.xml to [base]
14 files indexed.
COMMITting Solr index changes to http://localhost:8983/solr/techproducts/update...
Time spent: 0:00:00.488

Solr techproducts example launched successfully. Direct your Web browser to http://localhost:8983/solr to visit the Solr Admin UI
 
 
默认启用8983端口，此时只会启动一个实例。如果不确定solr是否已经在运行，使用staus命令来查看：
 
./solr status

Found 1 Solr nodes: 

Solr process 4113 running on port 8983
{
  "solr_home":"/Users/mazhiqiang/develop/tools/solr-5.5.0/example/techproducts/solr",
  "version":"5.5.0 2a228b3920a07f930f7afb6a42d0d20e184a943c - mike - 2016-02-16 15:22:52",
  "startTime":"2016-04-07T01:46:13.62Z",
  "uptime":"0 days, 0 hours, 9 minutes, 51 seconds",
  "memory":"56.8 MB (%11.6) of 490.7 MB"}
 
 
可以看到我们通过-e techproducts启动的进程，只会启动一个Solr节点（因为我们并没有采用Cloud模式），这边甚至可以看出其内存占用率。
 
最简单的查询，可以在浏览器中写下下面的url：
 
 
注意URL中主要包含主机名（localhost)，端口号（8983），应用名称（solr），请求查询的处理器（select），最后是查询（q=video），最终出来的结果为xml格式，当然也可以非常容易地切换成不同的输出格式，例如JSON，PHP，Ruby，或者用户自定义格式。
 
<response>
<lst name="responseHeader">
<int name="status">0</int>
<int name="QTime">4</int>
<lst name="params">
<str name="q">video</str>
</lst>
</lst>
<result name="response" numFound="3" start="0">
<doc>
<str name="id">MA147LL/A</str>
<str name="name">Apple 60 GB iPod with Video Playback Black</str>
<str name="manu">Apple Computer Inc.</str>
<str name="manu_id_s">apple</str>
<arr name="cat">
<str>electronics</str>
<str>music</str>
</arr>
<arr name="features">
<str>iTunes, Podcasts, Audiobooks</str>
<str>
Stores up to 15,000 songs, 25,000 photos, or 150 hours of video
</str>
<str>
2.5-inch, 320x240 color TFT LCD display with LED backlight
</str>
<str>Up to 20 hours of battery life</str>
<str>
 
 
 
这里就是根据最新版本5.5.0相关文档而编写的简要入门文档，对于solr的进一步入门，我们后续再继续探讨
 
 
  • Solr入门 博客分类： 开源分析系统使用solr&lucene solr 
  • 大小: 118.4 KB
  • Solr入门 博客分类： 开源分析系统使用solr&lucene solr 
  • 大小: 20.9 KB
  • Solr入门 博客分类： 开源分析系统使用solr&lucene solr 
  • 大小: 98.9 KB
相关标签： solr

上一篇： 服务端tomcat的简单监控 博客分类： 系统使用  

下一篇： Solr-DIH建立索引并执行简单初步的查询 博客分类： 系统实现开源分析solr&lucene solrmmseg4j 

推荐阅读