集成 PHP 应用和 Solr 搜索引擎
想象一下你在写一个电子商务网站的搜索查询程序。最直接的想法就是如下的数据库查询语句:
1
SELECT
*
FROM
PRODUCTS
2
WHERE
LOWER
(title)
like
LOWER
(
'%$phrase%'
)
3
OR
LOWER
(description)
like
LOWER
(
'%$phrase%'
);
查询标题或描述中的短语时,它工作正常。但是现实事物很复杂,比如说Apple iPhone 4G black 16GB(苹果4G网络iPhone黑色16GB)。搜索“iPhone 16G”的时候,就没结果。你可以用%替换空格应付这种情况。
1
$phrase
=
str_replace
(
' '
,
'%'
,
$phrase
);
那么查询“iPhone 16GB 4G”的时候呢?显然词序改变了,它又无法正常工作。我猜你又会添加一个字段保存词序。那么写错词怎么办?同义词怎么办?为如此的搜索系统想一个好的解决方案很有挑战性。
设计一个精妙的算法不是解决这类问题的关键. 文本的搜素是需要消耗资源的. 将太多的压力放在数据库端永远不是一个好办法. 原因是数据库不能很方便的扩展. 你不能像web server 或者 Memcached一样,简单的增加一个实例.扩展数据库需要一些准备, 代码的修改, 配置, down机维护时间, 总之成本是非常昂贵的. 好消息是Solr就是专门解决这类问题的.
Solr是一个基于Apache Lucene的企业级搜索平台. 快,稳定, 有很好的文档当然扩展起来也很方便. 由于Solr是有个强大的解决方案, 他的所有特性就不在这篇文章里面一一列举了. 这家伙上收起来也是相当easy哦.
首先从官方网站下载最新的版本。Solr是一个由Java语言编写的应用程序,你需要Java Runtime环境才可以运行。
1
$
cd
solr-4.1.0/example/
2
$ java -jar start.jar
大概几秒钟后你就可以看到下面的信息:
1
2013-03-09 18:47:41.177:INFO:oejs.AbstractConnector:Started SocketConnector@0.0.0.0:8983
Solr有一个web界面,工作在8983端口下,打开浏览器访问http://localhost:8983/solr/.
在左手边的导航区你会找到“collection1″。在Solr中,Collections类似于数据库的表,你可以查询数据。点击一个collection,选择她的子菜单 “query”。
第一个选项叫 “Request-Handler (qt)”,拥有默认值 “/select”。Request handlers是一组预定义查询. 如果你查看Solr config文件,你就会看到是这样的:
1
$ vim solr-4.1.0/example/solr/collection1/conf/solrconfig.xml
1
requestHandler
name
=
"/select"
class
=
"solr.SearchHandler"
>
2
lst
name
=
"defaults"
>
3
str
name
=
"echoParams"
>explicit
str
>
4
int
name
=
"rows"
>10
int
>
5
str
name
=
"df"
>text
str
>
6
lst
>
7
requestHandler
>
第二个参数才是我们最感兴趣的。默认值 “*:*” 意味着查询任何内容,如果你点击“execute query” ,你可以得到像下面这样的内容:
01
xml
version
=
"1.0"
encoding
=
"UTF-8"
?>
02
response
>
03
lst
name
=
"responseHeader"
>
04
int
name
=
"status"
>0
int
>
05
int
name
=
"QTime"
>1
int
>
06
lst
name
=
"params"
>
07
str
name
=
"indent"
>true
str
>
08
str
name
=
"q"
>*:*
str
>
09
str
name
=
"wt"
>xml
str
>
10
lst
>
11
lst
>
12
result
name
=
"response"
numFound
=
"0"
start
=
"0"
/>
13
response
>
索引结果为空,但这不是什么问题,你需要插入一些示例数据。
1
$
cd
solr-4.1.0/example/exampledocs/
2
$ java -jar post.jar monitor.xml
3
4
SimplePostTool version 1.5
5
Posting files to base url http://localhost:8983/solr/update using content-
type
application/xml..
6
POSTing
file
monitor.xml
7
1 files indexed.
8
COMMITting Solr index changes to http://localhost:8983/solr/update..
现在你可以返回查询界面,这次就会有一个文档返回。
Collection的数据结构是在schema文件中定义的。
1
$ vim solr-4.1.0/example/solr/collection1/conf/schema.xml
这个文件有非常多的注释,你可以很容易分辨出他们是做什么的。如果你要修改scheme文件,请不要删除名叫“text”的字段(如果没很好的理由),他是和另外的字段和查询语句中关联的(包括select, look等等)。
01
$ grep text solr-4.1.0/example/solr/collection1/conf/schema.xml | grep copy
02
03
copyField
source
=
"cat"
dest
=
"text"
/>
04
copyField
source
=
"name"
dest
=
"text"
/>
05
copyField
source
=
"manu"
dest
=
"text"
/>
06
copyField
source
=
"features"
dest
=
"text"
/>
07
copyField
source
=
"includes"
dest
=
"text"
/>
08
copyField
source
=
"title"
dest
=
"text"
/>
09
copyField
source
=
"author"
dest
=
"text"
/>
10
copyField
source
=
"description"
dest
=
"text"
/>
11
copyField
source
=
"keywords"
dest
=
"text"
/>
12
copyField
source
=
"content"
dest
=
"text"
/>
13
copyField
source
=
"content_type"
dest
=
"text"
/>
14
copyField
source
=
"resourcename"
dest
=
"text"
/>
15
copyField
source
=
"url"
dest
=
"text"
/>
如果你使用的是关系数据库,你不希望有重复的数据。Solr不是一个数据库,多数字段也被处理成文本字段,默认request handler就是这样。
从PHP访问Solr需要一个客户端。我建议从PECL下载一个。它快速,API清晰,文档优良。不过要注意,这个扩展现在版本1.0.2,不支持Solr 4.x。Solr 3.x和4.x的协议有微小不同。不过别担心,我已经做了修改,你可以从https://github.com/lukaszkujawa/php-pecl-solr下载兼容版本。我已经用了一段时间,是可靠的。它和官方的有点差别在SolrClient构造函数中多一个Solr版本参数。这个补丁将会发布在官方版本中,你不用担心此后的兼容性。
1
$ git clone https://github.com/lukaszkujawa/php-pecl-solr.git
2
$
cd
php-pecl-solr/
3
$ phpize
4
$
whereis
php-config
5
php-config: /usr/bin/php-config /usr/bin/X11/php-config
6
$ ./configure --with-php-config=/usr/bin/php-config
7
$
make
8
$
make
install
添加到你的php.ini
1
extension=solr.so
重启Web服务器
1
$ /etc/init.d/apache2 restart
现在就可以写php添加内容到索引中了。
view source print?01
02
03
$options
=
array
(
04
'hostname'
=>
'127.0.0.1'
,
05
);
06
07
$client
=
new
SolrClient(
$options
,
"4.0"
);
// 参数4.0针对Solr4.x,其他版本时忽略
08
09
$doc
=
new
SolrInputDocument();
10
11
$doc
->addField(
'id'
, 100);
12
$doc
->addField(
'title'
,
'Hello Wolrd'
);
13
$doc
->addField(
'description'
,
'Example Document'
);
14
$doc
->addField(
'cat'
,
'Foo'
);
15
$doc
->addField(
'cat'
,
'Bar'
);
16
17
$response
=
$client
->addDocument(
$doc
);
18
19
$client
->commit();
20
21
/* ------------------------------- */
22
23
$query
=
new
SolrQuery();
24
25
$query
->setQuery(
'hello'
);
26
27
$query
->addField(
'id'
)
28
->addField(
'title'
)
29
->addField(
'description'
)
30
->addField(
'cat'
);
31
32
$queryResponse
=
$client
->query(
$query
);
33
34
$response
=
$queryResponse
->getResponse();
35
36
print_r(
$response
->response->docs );
如果你添加的文档不止一条,她也可以处理得很好,而不需要频繁的commit。
知道Solr如何工作是很有价值的,你可以在很多项目中使用。她有个很棒的功能可以让你一次请求就可以拉取所有需要的数据。当然,你掌握她需要耗费一些时间,但这值得你付出。Solr拥有一个活跃的社区和完整的文档资源,如果你还担心在项目中使用,请翻阅Solr 3 企业搜索服务器,她不仅仅是让你快速搭建起搜索服务,还是你数据挖掘的基础。
英文原文:Integrate PHP application with Solr search engine
参与翻译(3人):傅小黑, Yoker, 蚂蚁浩推荐阅读
-
PHP fopen()和 file_get_contents()应用与差异介绍
-
PHP和Mysqlweb应用开发核心技术 第1部分 Php基础-3 代码组织和重用2
-
PHP和Mysqlweb应用开发核心技术-第1部分 Php基础-2 php语言介绍
-
PHP PDO和消息队列的个人理解与应用实例分析
-
PHP call_user_func和call_user_func_array函数的简单理解与应用分析
-
php和js交互一例-PHP教程,PHP应用
-
php curl抓取网页的介绍和推广及使用CURL抓取淘宝页面集成方法
-
应用开发中涉及到的css和php笔记分享
-
PHP sprintf() 函数的应用(定义和用法)
-
PHP与已存在的Java应用程序集成