Go语言实现的web爬虫实例

本文实例讲述了go语言实现的web爬虫方法。分享给大家供大家参考。具体分析如下：

这里使用 go 的并发特性来并行执行 web 爬虫。
修改 crawl 函数来并行的抓取 urls，并且保证不重复。

package main
import (
    "fmt"
)
type fetcher interface {
        // fetch 返回 url 的 body 内容，并且将在这个页面上找到的 url 放到一个 slice 中。
    fetch(url string) (body string, urls []string, err error)
}
// crawl 使用 fetcher 从某个 url 开始递归的爬取页面，直到达到最大深度。
func crawl(url string, depth int, fetcher fetcher) {
        // todo: 并行的抓取 url。
        // todo: 不重复抓取页面。
        // 下面并没有实现上面两种情况：
    if depth <= 0 {
        return
    }
    body, urls, err := fetcher.fetch(url)
    if err != nil {
        fmt.println(err)
        return
    }
    fmt.printf("found: %s %q\n", url, body)
    for _, u := range urls {
        crawl(u, depth-1, fetcher)
    }
    return
}
func main() {
    crawl("http://golang.org/", 4, fetcher)
}
// fakefetcher 是返回若干结果的 fetcher。
type fakefetcher map[string]*fakeresult
type fakeresult struct {
    body string
    urls     []string
}
func (f *fakefetcher) fetch(url string) (string, []string, error) {
    if res, ok := (*f)[url]; ok {
        return res.body, res.urls, nil
    }
    return "", nil, fmt.errorf("not found: %s", url)
}
// fetcher 是填充后的 fakefetcher。
var fetcher = &fakefetcher{
    "http://golang.org/": &fakeresult{
        "the go programming language",
        []string{
            "http://golang.org/pkg/",
            "http://golang.org/cmd/",
        },
    },
    "http://golang.org/pkg/": &fakeresult{
        "packages",
        []string{
            "http://golang.org/",
            "http://golang.org/cmd/",
            "http://golang.org/pkg/fmt/",
            "http://golang.org/pkg/os/",
        },
    },
    "http://golang.org/pkg/fmt/": &fakeresult{
        "package fmt",
        []string{
            "http://golang.org/",
            "http://golang.org/pkg/",
        },
    },
    "http://golang.org/pkg/os/": &fakeresult{
        "package os",
        []string{
            "http://golang.org/",
            "http://golang.org/pkg/",
        },
    },
}

希望本文所述对大家的go语言程序设计有所帮助。