Go语言通过http抓取网页的方法

本文实例讲述了go语言通过http抓取网页的方法。分享给大家供大家参考。具体实现方法如下：

package main
import (
 "fmt"
 "log"
 "net/http"
 "net/url"
 "io/ioutil"
)
//指定代理ip
func gettransportfieldurl(proxy_addr *string) (transport *http.transport) {
 url_i := url.url{}
 url_proxy, _ := url_i.parse(*proxy_addr)
 transport = &http.transport{proxy : http.proxyurl(url_proxy)}
 return
}
//从环境变量$http_proxy或$http_proxy中获取http代理地址
func gettransportfromenvironment() (transport *http.transport) {
 transport = &http.transport{proxy : http.proxyfromenvironment}
 return
}
func fetch(url , proxy_addr *string) (html string) {
 transport := gettransportfieldurl(proxy_addr)
 client := &http.client{transport : transport}
 req, err := http.newrequest("get", *url, nil)
 if err != nil {
  log.fatal(err.error())
 }
 resp, err := client.do(req)
 if err != nil {
  log.fatal(err.error())
 }
 if resp.statuscode == 200 {
  robots, err := ioutil.readall(resp.body);
  resp.body.close()
  if err != nil {
   log.fatal(err.error())
  }
  html = string(robots);
 } else {
  html = ""
 }
 return
}
func main() {
 proxy_addr := "http://183.221.250.137:80/"
 url := "http://www.baidu.com/s?wd=ip"
 html := fetch(&url, &proxy_addr)
 fmt.println(html)
}

希望本文所述对大家的go语言程序设计有所帮助。