爬虫入门（一）

什么是爬虫

爬虫就是自动化读取网络数据的应用程序

爬虫的原则

• 遵守法律，爬虫工具也不是法外之地。
• 注意爬取数据时不能影响被爬网站正常运营。
• 经常审查爬取数据，不能包含用户数据等敏感数据。如果包含应立即停止，修改程序。

反爬机制

目前，许多门户网站都采取了一定的反爬策略。
例如：

• UA检测
• IP*
• 等

反反爬策略

1. UA伪装
2. 代理IP