欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  IT编程

一起学爬虫——一步一步打造爬虫代理池

程序员文章站 2023-03-31 15:29:56
最近在使用爬虫爬取数据时,经常会返回403代码,大致意思是该IP访问过于频繁,被限制访问。限制IP访问网站最常用的反爬手段了,其实破解也很容易,就是在爬取网站是使用代理即可,这个IP被限制了,就使用其他的IP。对于高大上的公司来说,他们基本都使用收费的代理,基本不会有什么问题,比较稳定。像我这样的矮 ......

最近在使用爬虫爬取数据时,经常会返回403代码,大致意思是该ip访问过于频繁,被限制访问。限制ip访问网站最常用的反爬手段了,其实破解也很容易,就是在爬取网站是使用代理即可,这个ip被限制了,就使用其他的ip。对于高大上的公司来说,他们基本都使用收费的代理,基本不会有什么问题,比较稳定。像我这样的矮矬穷,肯定是用不起收费的代理。一般都是使用国内免费的代理,网上也有很多提供免费的代理。

很多人都是从网上爬取一批免费的代理ip,存放在存储媒介中,例如excel文件或者数据库。定时维护代理,保证代理可用。这个做法有个缺点,有些机器上并没有装有excel或者mysql、redis等数据库,这就导致了的代理池无法正常使用。

我之前是做java开发的,经常会把一些常用的数据放在arraylist中,使用起来非常方便,效率高,因此借鉴之前在java方面的经验,将代理ip爬取下来存放在list列表中中,将list列表当做一个代理池,经常维护这个池里的代理。

我经常爬取免费代理的网站xicidaili
swei360等,这些免费的代理足够我使用了,能够应付大多数的爬虫工作。爬取过程需要用到requests和pyquery库,没有安装的同学自行安装。

首先介绍下爬取xicidaili网站的过程,
要先定义一个方法用于抓取xicidaili网站的,参数有两个,一个是url,另外一个是要爬取代理网页的页数,也就是要爬几页,方法如下:

def get_xicidaili_proxy(url,page):
    for i in range(1,page):
        headers = {
            "user-agent": "mozilla/5.0 (windows nt 10.0; wow64) applewebkit/537.36 (khtml, like gecko) chrome/58.0.3029.110 safari/537.36 se 2.x metasr 1.0"}
        response = requests.get(url + str(i), headers=headers)

        html = response.text
        doc = pq(html)
        ip_list = doc('#ip_list')('tr:gt(0)').items()
        for item in ip_list:
            ip = item.find('td:nth-child(2)').text()
            port = item.find('td:nth-child(3)').text()
            http_type = item.find('td:nth-child(6)').text()
            proxy_ip = http_type + "://" + ip + ":" + port
            if http_type == 'http':
                http_proxy_pool.append(proxy_ip)
            elif http_type == 'https':
                https_proxy_pool.append(proxy_ip)
            # print(proxy_ip)

定义了http_proxy_pool和https_proxy_pool两个list变量,用于存储http类型和https类型的代理。 使用pyquery根据css伪选择器提取出ip,端口和http类型信息,并按照http:// + ip+port的方式组合成一个字符串,存储在已经定义好的http_proxy_tool和https_proxy_pool变量中。

爬取swei360网站代理的方法就不贴出来了,原理和爬取xicidaili网站是一样的。

一个代理在使用之前要判断是否可用,我们使用request的get请求的返回代码判断代理是否可用,返回200,就说明代理可用,返回其他的代码就表示代理不可用,代码如下:

def detect_proxy(test_url,http_type,proxy):
    headers = {
        "user-agent": "mozilla/5.0 (windows nt 10.0; wow64) applewebkit/537.36 (khtml, like gecko) chrome/58.0.3029.110 safari/537.36 se 2.x metasr 1.0"}
    proxy={
        http_type : proxy
    }
    try:
        response = requests.get(test_url,proxies=proxy,headers=headers)
        if response.status_code in [200]:
            print('代理可用',proxy)
            return true
        else:
            print('代理不可用', proxy);
            delete_proxy(http_type,proxy)
            return false
    except(requests.exceptions.proxyerror,requestexception):
        print('代理不可用', proxy)
        delete_proxy(http_type, proxy)
        return false

定义了detect_proxy方法用于检测代理是否可用,有三个参数,分别是测试网址,代理类型(http和https)和代理ip。当requests的请求返回200代码时,就表示该代理可用,返回true,否则就是不可用,返回false。当遇到request异常或者其他的错误也认为代理不可用,返回false。对于不可用的代理,要从代理池中删除。

从代理池中获取代理时,我们使用的是从代理池中随机返回一个代理,这样就避免经常使用一个代理,从而遭到拒绝访问。代码如下:

def get_https_proxy():
    proxy_ip = random.choice(https_proxy_pool)
    return proxy_ip

def get_http_proxy():
    proxy_ip = random.choice(http_proxy_pool)
    return proxy_ip

为了保证代理的可用,当检测到一个代理不可用时,要及时的清理掉。就是从http_proxy_pool和https_proxy_pool列表中删除。

一个简单的爬虫代理池已经搭建好,总结下爬虫代理池搭建的过程:

  • 从免费的代理网站上爬取代理信息,存放在列表中。
  • 提供从代理池中随机获取代理的方法。http类型的网站要使用http类型的代理,https类型的网站要使用https类型的代理,因此分别提供获取http和https类型代理的方法。
  • 提供检测代理是否可用的方法,代理可用返回true,不可用返回false。
  • 提供删除代理的方法。

这个代理池其实相当的简单,有一个弊端就是在检测代理是否可用时,如果返回的不是200代码就认为代理不可用,返回其他代码的情况有很多,例如网络不可用、测试网站不可访问等。比较好的做法是给每个代理设置一个分值,例如10分,如果检测到不可用就减1,当分数为0时,就确定该代理不可用,直接从代理池中移除。检测到代理可用,就将分数设为10分。这种做法给每个检测到不可用代理一个改邪归正的机会,不至于一刀切的抛弃掉。

完整代码请加我的公众号,回复"代理"获取。