欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

Python网络数据采集14:远程采集

程序员文章站 2022-07-02 09:24:09
...

    程序在不同的机器上运行,或者在电脑上用不同的IP地址运行。

14.1 为什么要用远程服务器

     有两个目的:对更大计算能力和灵活性的需求,以及对可变IP地址的需求。

     避免IP地址被封杀:

     移植性与扩展性:

14.2 Tor代理服务器

     虽然每个服务器的入站和出站通信都可以被查到,但是要想查出通信的真正起点和终点,必须知道整个通信链路上所有服务器的入站和出站通信细节,而这基本是不可能实现的。

     Tor 下载页面(https://www.torproject.org/download/download)下载并安装

      PySock是一个非常简单的Python代理服务器通信模块,它可以和Tor配合使用。https://pypi.python.org/pypi/PySocks

import socks
import socket
from urllib.request import urlopen
socks.set_default_proxy(socks.SOCKS5, "localhost", 9150)
socket.socket = socks.socksocket
print(urlopen('http://icanhazip.com').read())

14.3 远程主机