Python网络数据采集14:远程采集
程序员文章站
2022-07-02 09:24:09
...
程序在不同的机器上运行,或者在电脑上用不同的IP地址运行。
14.1 为什么要用远程服务器
有两个目的:对更大计算能力和灵活性的需求,以及对可变IP地址的需求。
避免IP地址被封杀:
移植性与扩展性:
14.2 Tor代理服务器
虽然每个服务器的入站和出站通信都可以被查到,但是要想查出通信的真正起点和终点,必须知道整个通信链路上所有服务器的入站和出站通信细节,而这基本是不可能实现的。
Tor 下载页面(https://www.torproject.org/download/download)下载并安装
PySock是一个非常简单的Python代理服务器通信模块,它可以和Tor配合使用。https://pypi.python.org/pypi/PySocks
import socks
import socket
from urllib.request import urlopen
socks.set_default_proxy(socks.SOCKS5, "localhost", 9150)
socket.socket = socks.socksocket
print(urlopen('http://icanhazip.com').read())
14.3 远程主机
上一篇: GDB 交叉调试流程
下一篇: Mybatis批量插入数据返回主键的实现
推荐阅读
-
Python基于scrapy采集数据时使用代理服务器的方法
-
Python使用scrapy采集数据时为每个请求随机分配user-agent的方法
-
Python使用scrapy采集数据过程中放回下载过大页面的方法
-
Python基于Scrapy的爬虫 数据采集(写入数据库)
-
Python爬虫_城市公交、地铁站点和线路数据采集实例
-
性能测试 基于Python结合InfluxDB及Grafana图表实时采集Linux多主机性能数据
-
浅谈Scrapy网络爬虫框架的工作原理和数据采集
-
python网络爬虫采集联想词示例
-
influx+grafana自定义python采集数据和一些坑的总结
-
用python爬虫进行新浪腾讯股票数据采集