欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  IT编程

Python爬虫之使用代理ip的方法

程序员文章站 2022-03-23 20:55:01
我们在爬取数据的时候有可能会出现爬到一半就不动了,有可能是因为目标网站封了你的ip,因为程序的运行是非常快的,人为的访问速度没有那么快,所以会被封,我们可以有多种方法可以避免这种问题 第一种: 降低...

我们在爬取数据的时候有可能会出现爬到一半就不动了,有可能是因为目标网站封了你的ip,因为程序的运行是非常快的,人为的访问速度没有那么快,所以会被封,我们可以有多种方法可以避免这种问题

第一种:

降低访问速度,我们可以使用time模块中的sleep,使程序每运行一次后就睡眠1s,这样的话就可以大大的减少ip被封的几率

第二种:

为了提高效率,我们可以使用代理ip来解决,ip是西刺代理的ip,代码我贴出来

# encoding: utf-8
import requests
import json

from lxml import etree

def get_page(url):
    head ={
        "user-agent":"mozilla/5.0 (windows nt 10.0; win64; x64; rv:52.0) gecko/20100101 firefox/52.0"
    }
    response = requests.get(url=url, headers=head).text
    # print(response)
    html = etree.html(response)
    return parse(html)

def paging():
    ip_dict = {}
    for page in range(1, 11):
        url = "https://www.xicidaili.com/nn/{}".format(page)
        ip_dict[page] = get_page(url)
    data = json.dumps(ip_dict)
    with open('ip.json', 'a+') as f:
        f.write(data)

def parse(html):
    list_ip = []
    contents = html.xpath("//table[@id='ip_list']/tr[position()>1]")
    for content in contents:
        ip = content.xpath("./td[2]/text()")[0]
        port = content.xpath("./td[3]/text()")[0]
        mold = content.xpath("./td[6]/text()")[0]
        # print(ip, port, mold)
        list_ip.append(mold.lower()+':'+ip+":"+port)
    return list_ip


if __name__ == '__main__':
    paging()

复制以上的代码保存为*.py文件就可以了,保存完之后运行,可以使用这个网站测试我们访问网站的ip:测试ip