构建UA池/代理IP

构建UA池

# 实现存入ua池10个ua
from fake_useragent import UserAgent
ua_pool = []
user_agent = UserAgent()
for i in range(10):
    ua = useragent.Ie                # ie浏览器
    ua = useragent.Firefox        # 火狐浏览器
    ua = user_agent.Chrome    # 谷歌浏览器
    ua_pool.append(ua)

构建代理IP

代理IP网站： http://www.goubanjia.com
在scrapy的中间件的request方法中
request.meta['proxy']='http://IP:port(代理IP)'

爬虫请遵循规则