使用Ruby程序实现web信息抓取的教程

网站不再单单迎合人类读者。许多站点现在支持一些 api，这些 api 使计算机程序能够获取信息。屏幕抓取 —— 将 html 页面解析为更容易理解的表单的省时技术 — 仍然很方便。但使用 api 简化 web 数据提取的机会在快速增多。根据 programmableweb 的信息，在本文发表时，已存在 10,000 多个网站 api — 在过去的 15 个月中增加了 3,000 个。（programmableweb 本身提供了一个 api，可从其目录中搜索和检索 api、mashup、成员概要文件和其他数据。）

本文首先介绍现代的 web 抓取并将它与 api 方法进行比较。然后通过 ruby 示例，展示如何使用 api 从一些流行的 web 属性中提取结构化信息。您需要基本理解 ruby 语言、具象状态传输 (rest)，以及 javascript 对象表示法 (json) 和 xml 概念。
抓取与 api

现在已有多种抓取解决方案。其中一些将 html 转换为其他格式，比如 json，这样提取想要的内容会更加简单。其他解决方案读取 html，您可将内容定义为 html 分层结构的一个函数，其中的数据已加了标记。一种此类解决方案是 nokogiri，它支持使用 ruby 语言解析 html 和 xml 文档。其他开源抓取工具包括用于 javascript 的 pjscrape 和用于 python 的 beautiful soup。pjscrape 实现一个命令行工具来抓取完全呈现的页面，包括 javascript 内容。beautiful soup 完全集成到 python 2 和 3 环境中。

假设您希望使用抓取功能和 nokogiri 来识别 crunchbase 所报告的 ibm 员工数量。第一步是理解 crunchbase 上列出了 ibm 员工数量的特定 html 页面的标记。图 1 显示了在 mozilla firefox 中的 firebug 工具中打开的此页面。该图的上半部分显示了所呈现的 html，下半部分显示了感兴趣部分的 html 源代码。

清单 1 中的 ruby 脚本使用 nokogiri 从图 1 中的网页抓取员工数量。
清单 1. 使用 nokogiri 解析 html (parse.rb)

#!/usr/bin/env ruby
require 'rubygems'
require 'nokogiri'
require 'open-uri'

# define the url with the argument passed by the user
uri = "http://www.crunchbase.com/company/#{argv[0]}"

# use nokogiri to get the document
doc = nokogiri::html(open(uri))

# find the link of interest
link = doc.search('tr span[1]')

# emit the content associated with that link
puts link[0].content

在 firebug 显示的 html 源代码中（如 图 1 所示），您可看到感兴趣的数据（员工数量）嵌入在一个 html 唯一 id <span> 标记内。还可看到 <span id="num_employees"> 标记是两个 <span> id 标记中的第一个。所以，清单 1 中的最后两个指令是，使用 link = doc.search('tr span[1]') 请求第一个 <span> 标记，然后使用 puts link[0].content 发出这个已解析链接的内容。

crunchbase 还公开了一个 rest api，它能够访问的数据比通过抓取功能访问的数据要多得多。清单 2 显示了如何使用该 api 从 crunchbase 站点提取公司的员工数。
清单 2. 结合使用 crunchbase rest api 和 json 解析 (api.rb)

#!/usr/bin/env ruby
require 'rubygems'
require 'json'
require 'net/http'

# define the url with the argument passed by the user
uri = "http://api.crunchbase.com/v/1/company/#{argv[0]}.js"

# perform the http get request, and return the response
resp = net::http.get_response(uri.parse(uri))

# parse the json from the response body
jresp = json.parse(resp.body)

# emit the content of interest
puts jresp['number_of_employees']

在清单 2 中，您定义了一个 url（公司名称作为脚本参数传入）。然后使用 http 类发出一个 get 请求并返回响应。响应被解析为一个 json 对象，您可通过一个 ruby 数据结构引用感兴趣的数据项。

清单 3 中的控制台会话显示了运行 清单 1 中的抓取脚本和 清单 2 中基于 api 的脚本的结果。
清单 3. 演示抓取和 api 方法

$ ./parse.rb ibm
388,000
$ ./api.rb ibm
388000
$ ./parse.rb cisco
63,000
$ ./api.rb cisco
63000
$ ./parse.rb paypal
300,000
$ ./api.rb paypal
300000
$

抓取脚本运行时，您接收一个格式化的计数，而 api 脚本会生成一个原始整数。如清单 3 所示，您可推广每种脚本的使用，从 crunchbase 跟踪的其他公司请求获得员工数。每种方法提供的 url 的一般结构使这种通用性成为可能。

那么，我们使用 api 方法能获得什么？对于抓取，您需要分析 html 以理解它的结构并识别要提取的数据。然后使用 nokogiri 解析 html 并获取感兴趣的数据就会很简单。但是，如果 html 文档的结构发生变化，您可能需要修改脚本才能正确解析新结构。根据 api 契约，api 方法不存在该问题。api 方法的另一个重要优点是，您可访问通过接口（通过返回的 json 对象）公开的所有数据。通过 html 公开且可供人使用的 crunchbase 数据要少得多。

现在看看如何使用其他一些 api 从 internet 提取各类信息，同样要借助 ruby 脚本。首先看看如何从一个社交网络站点收集个人数据。然后将看到如何通过其他 api 来源查找更少的个人数据。

通过 linkedin 提取个人数据

linkedin 是一个面向专业职业的社交网络网站。它对联系其他开发人员，寻找工作，研究一家公司，或者加入一个群组，就有趣的主题进行协作很有用。linkedin 还整合了一个推荐引擎，可根据您的概要文件推荐工作和公司。

linkedin 用户可访问该站点的 rest 和 javascript api，从而获取可通过其人类可读网站访问的信息：联系信息、社交分享流、内容群组、通信（消息和联系邀请），以及公司和工作信息。

要使用 linkedin api，您必须注册您的应用程序。注册后会获得一个 api 密钥和秘密秘钥，以及一个用户令牌和秘密秘钥。linkedin 使用 oauth 协议进行身份验证。

执行身份验证后，您可通过访问令牌对象发出 rest 请求。响应是一个典型的 http 响应，所以您可将正文解析为 json 对象。然后可迭代该 json 对象来提取感兴趣的数据。

清单 4 中的 ruby 脚本为进行身份验证后的 linkedin 用户提供了要关注的公司推荐和工作建议。
清单 4. 使用 linkedin api (lkdin.rb) 查看公司和工作建议

#!/usr/bin/ruby
require 'rubygems'
require 'oauth'
require 'json'

pquery = "http://api.linkedin.com/v1/people/~?format=json"
cquery='http://api.linkedin.com/v1/people/~/suggestions/to-follow/companies?format=json'
jquery='http://api.linkedin.com/v1/people/~/suggestions/job-suggestions?format=json'
 
# fill the keys and secrets you retrieved after registering your app
api_key = 'api key'
api_secret = 'api secret'
user_token = 'user token'
user_secret = 'user secret'
 
# specify linkedin api endpoint
configuration = { :site => 'https://api.linkedin.com' }
 
# use the api key and secret to instantiate consumer object
consumer = oauth::consumer.new(api_key, api_secret, configuration)
 
# use the developer token and secret to instantiate access token object
access_token = oauth::accesstoken.new(consumer, user_token, user_secret)

# get the username for this profile
response = access_token.get(pquery)
jresp = json.parse(response.body)
myname = "#{jresp['firstname']} #{jresp['lastname']}"
puts "\nsuggested companies to follow for #{myname}"

# get the suggested companies to follow
response = access_token.get(cquery)
jresp = json.parse(response.body)

# iterate through each and display the company name
jresp['values'].each do | company |
  puts " #{company['name']}"
end

# get the job suggestions
response = access_token.get(jquery)
jresp = json.parse(response.body)
puts "\nsuggested jobs for #{myname}"

# iterate through each suggested job and print the company name
jresp['jobs']['values'].each do | job |
  puts " #{job['company']['name']} in #{job['locationdescription']}"
end

puts "\n"

清单 5 中的控制台会话显示了运行 清单 4 中的 ruby 脚本的输出。脚本中对 linkedin api 的 3 次独立调用有不同的输出结果（一个用于身份验证，其他两个分别用于公司建议和工作建议链接）。
清单 5. 演示 linkedin ruby 脚本

$ ./lkdin.rb

suggested companies to follow for m. tim jones
 open kernel labs, inc.
 linaro
 wind river
 ddc-i
 linsyssoft technologies
 kalray
 american megatrends
 jethead development
 evidence srl
 aizyc technology

suggested jobs for m. tim jones
 kozio in greater denver area
 samsung semiconductor inc in san jose, ca
 terran systems in sunnyvale, ca
 magnum semiconductor in san francisco bay area
 rgb spectrum in alameda, ca
 aptina in san francisco bay area
 cybercoders in san francisco, ca
 cybercoders in alameda, ca
 sandisk in longmont, co
 sandisk in longmont, co

$

可将 linkedin api 与任何提供了 oauth 支持的语言结合使用。

使用 yelp api 检索业务数据

yelp 公开了一个富 rest api 来执行企业搜索，包含评分、评论和地理搜索（地段、城市、地理编码）。使用 yelp api，您可搜索一种给定类型的企业（比如 “饭店”）并将搜索限制在一个地理边界内；一个地理坐标附近；或者一个邻居、地址或城市附近。json 响应包含了与条件匹配的企业的大量相关信息，包括地址信息、距离、评分、交易，以及其他类型的信息（比如该企业的图片、移动格式信息等）的 url。

像 linkedin 一样，yelp 使用 oauth 执行身份验证，所以您必须向 yelp 注册才能通过该 api 获得一组用于身份验证的凭据。脚本完成身份验证后，可构造一个基于 rest 的 url 请求。在清单 6 中，我硬编码了一个针对科罗拉多州 boulder 的饭店请求。响应正文被解析到一个 json 对象中并进行迭代，从而发出想要的信息。注意，我排除了已关闭的企业。
清单 6. 使用 yelp api (yelp.rb) 检索企业数据

#!/usr/bin/ruby
require 'rubygems'
require 'oauth'
require 'json'

consumer_key = 'your consumer key'
consumer_secret = 'your consumer secret'
token = 'your token'
token_secret = 'your token secret'
api_host = 'http://api.yelp.com'

consumer = oauth::consumer.new(consumer_key, consumer_secret, {:site => api_host})
access_token = oauth::accesstoken.new(consumer, token, token_secret)

path = "/v2/search?term=restaurants&location=boulder,co"

jresp = json.parse(access_token.get(path).body)

jresp['businesses'].each do | business |
  if business['is_closed'] == false
   printf("%-32s %10s %3d %1.1f\n", 
        business['name'], business['phone'], 
        business['review_count'], business['rating'])
  end
end

清单 7 中的控制台会话显示了运行 清单 6 脚本的示例输出。为了简单一些，我只显示了所返回的前面一组企业，而不是支持该 api 的限制/偏移特性（以执行多个调用来检索整个列表）。这段示例输出显示了企业名称、电话号码、收到的评论数和平均评分。
清单 7. 演示 yelp api ruby 脚本

$ ./yelp.rb
frasca food and wine       3034426966 189 4.5
john's restaurant         3034445232  51 4.5
leaf vegetarian restaurant    3034421485 144 4.0
nepal cuisine           3035545828  65 4.5
black cat bistro         3034445500  72 4.0
the mediterranean restaurant   3034445335 306 4.0
arugula bar e ristorante     3034435100  48 4.0
ras kassa's ethiopia restaurant  3034472919 101 4.0
l'atelier             3034427233  58 4.0
bombay bistro           3034444721  87 4.0
brasserie ten ten         3039981010 200 4.0
flagstaff house          3034424640  86 4.5
pearl street mall         3034493774  77 4.0
gurkhas on the hill        3034431355  19 4.0
the kitchen            3035445973 274 4.0
chez thuy restaurant       3034421700  99 3.5
il pastaio            3034479572 113 4.5
3 margaritas           3039981234  11 3.5
q's restaurant          3034424880  65 4.0
julia's kitchen                 8 5.0

$

yelp 提供了一个具有出色文档的 api，以及数据描述、示例、错误处理等。尽管 yelp api 很有用，但它的使用有一定的限制。作为软件原始开发人员，您每天最多可执行 100 次 api 调用，出于测试用途可执行 1,000 次调用。如果您的应用程序满足 yelp 的显示需求，每天可执行 10,000 次调用（也可能执行更多次）。

包含一个简单 mashup 的域位置

下一个示例将两段源代码连接起来，以生成信息。在本例中，您要将一个 web 域名转换为它的一般地理位置。清单 8 中的 ruby 脚本使用 linux? host 命令和 opencrypt ip location api service 来检索位置信息。
清单 8. 检索 web 域的位置信息

#!/usr/bin/env ruby
require 'net/http'

aggr = ""
key = 'your api key here'

# get the ip address for the domain using the 'host' command
io.popen("host #{argv[0]}") { | line |
 until line.eof?
  aggr += line.gets
 end
}

# find the ip address in the response from the 'host' command
pattern = /\d{1,3}\.\d{1,3}\.\d{1,3}\.\d{1,3}$/
if m = pattern.match(aggr)
  uri = "http://api.opencrypt.com/ip/?ip=#{m[0]}&key=#{key}"
  resp = net::http.get_response(uri.parse(uri))
  puts resp.body
end

在清单 8 中，您首先使用本地的 host 命令将域名转换为 ip 地址。（host 命令本身使用一个内部 api 和 dns 解析将域名解析为 ip 地址。）您使用一个简单的正则表达式（和 match 方法）从 host 命令输出中解析 ip 地址。有了 ip 地址，就可使用 opencrypt 上的 ip 位置服务来检索一般地理位置信息。opencrypt api 允许您执行最多 50,000 次免费 api 调用。

opencrypt api 调用很简单：您构造的 url 包含您要定位的 ip 地址和 opencrypt 注册过程提供给您的密钥。http 响应正文包含 ip 地址、国家代码和国家名称。

清单 9 中的控制台会话显示了两个示例域名的输出。
清单 9. 使用简单的域位置脚本

$ ./where.rb www.baynet.ne.jp
ip=111.68.239.125
cc=jp
cn=japan
$ ./where.rb www.pravda.ru
ip=212.76.137.2
cc=ru
cn=russian federation
$

google api 查询

web api 方面一个无可争辩的优胜者是 google。google 拥有如此多的 api，以至于它提供了另一个 api 来查询它们。通过 google api discovery service，您可列出 google 提供的可用 api 并提取它们的元数据。尽管与大部分 google api 的交互需要进行身份验证，但您可通过一个安全套接字连接访问查询 api。出于此原因，清单 10 使用 ruby 的 https 类来构造与安全端口的连接。已定义的 url 指定了 rest 请求，而且响应采用了 json 编码。迭代响应并发出一小部分首选的 api 数据。
清单 10. 使用 google api discovery service (gdir.rb) 列出 google api

#!/usr/bin/ruby
require 'rubygems'
require 'net/https'
require 'json'

url = 'https://www.googleapis.com/discovery/v1/apis'

uri = uri.parse(url)

# set up a connection to the google api service
http = net::http.new( uri.host, 443 )
http.use_ssl = true
http.verify_mode = openssl::ssl::verify_none

# connect to the service
req = net::http::get.new(uri.request_uri)
resp = http.request(req)

# get the json representation
jresp = json.parse(resp.body)

# iterate through the api list
jresp['items'].each do | item |
 if item['preferred'] == true
  name = item['name']
  title = item['title']
  link = item['discoverylink']
  printf("%-17s %-34s %-20s\n", name, title, link)
 end
end

清单 11 中的控制台会话显示了运行清单 10 中脚本得到的响应示例。
清单 11. 使用简单的 google 目录服务 ruby 脚本

$ ./gdir.rb
adexchangebuyer  ad exchange buyer api       ./apis/adexchangebuyer/v1.1/rest
adsense      adsense management api       ./apis/adsense/v1.1/rest
adsensehost    adsense host api          ./apis/adsensehost/v4.1/rest
analytics     google analytics api        ./apis/analytics/v3/rest
androidpublisher google play android developer api ./apis/androidpublisher/v1/rest
audit       enterprise audit api        ./apis/audit/v1/rest
bigquery     bigquery api            ./apis/bigquery/v2/rest
blogger      blogger api            ./apis/blogger/v3/rest
books       books api             ./apis/books/v1/rest
calendar     calendar api            ./apis/calendar/v3/rest
compute      compute engine api         ./apis/compute/v1beta12/rest
coordinate    google maps coordinate api     ./apis/coordinate/v1/rest
customsearch   customsearch api          ./apis/customsearch/v1/rest
dfareporting   dfa reporting api         ./apis/dfareporting/v1/rest
discovery     apis discovery service       ./apis/discovery/v1/rest
drive       drive api             ./apis/drive/v2/rest
...
storage      cloud storage api         ./apis/storage/v1beta1/rest
taskqueue     taskqueue api           ./apis/taskqueue/v1beta2/rest
tasks       tasks api             ./apis/tasks/v1/rest
translate     translate api           ./apis/translate/v2/rest
urlshortener   url shortener api         ./apis/urlshortener/v1/rest
webfonts     google web fonts developer api   ./apis/webfonts/v1/rest
youtube      youtube api            ./apis/youtube/v3alpha/rest
youtubeanalytics youtube analytics api       ./apis/youtubeanalytics/v1/rest
$

清单 11 中的输出显示了 api 名称、它们的标题，以及进一步分析每个 api 的 url 路径。

结束语

本文中的示例演示了公共 api 在从 internet 提取信息方面的强大功能。与 web 抓取和爬取 (spidering) 相比，web api 提供了访问有针对性的特定信息的能力。internet 上在不断创造新价值，这不仅通过使用这些 api 来实现，还通过用新颖的方式组合它们，从而向越来越多的 web 用户提供新数据来实现。

但是请记住，使用 api 需要付出一定的代价。限制问题就常让人抱怨。同样，可能在不通知您的情况下更改 api 规则这一事实，因此在构建应用程序时必须加以考虑。最近，twitter 更改了它的 api 来提供 “一种更加一致的体验”。这一更改对许多可能被视为典型 twitter web 客户端竞争对手的第三方应用程序而言，无疑是一场灾难。