假如你已经开始学python,对爬虫没有头绪,不妨看看这几个案例!
程序员文章站
2022-06-22 17:28:15
一、论述 这几个案例以前是给一些想进入Python行业的朋友写的,看到大家都比较满意,所以就再次拿了出来,如果你已经开始学python,对爬虫没有头绪,不妨看看这几个案例! 二、环境准备 Python 3 requests库 、lxml库、beautifulsoup4库 pip install XX ......
一、论述
这几个案例以前是给一些想进入Python行业的朋友写的,看到大家都比较满意,所以就再次拿了出来,如果你已经开始学python,对爬虫没有头绪,不妨看看这几个案例!
二、环境准备
Python 3
requests库 、lxml库、beautifulsoup4库
pip install XX XX XX一并安装。
三、Python爬虫小案例
1、获取本机的公网IP地址
利用python的requests库+公网上查IP的接口,自动获取IP地址
需要用到requests库、BeautifulSoup库,观察百度搜索结构的URL链接规律,绕过百度搜索引擎的反爬虫机制的方法为在程序中设置User-Agent请求头。
搜狗壁纸的地址是json格式,所以用json库解析这组数据,爬虫程序存放图片的磁盘路径改成欲存图片的路径就可以了。
可以把Python爬取的代理IP添加到proxychain里面,就可以进行一般的渗透任务了。这里直接调用了linux的系统命令ping -c 1 " + ip.string + " | awk 'NR==2{print}' - ,在Windows中运行此程序需要修改倒数第三行os.popen里的命令,修改为Windows能够执行的就可以了。
结论
其实我们能够用python做许多非常有趣的事。假如说上面的爬虫小案例未能够完全理解,那还请继续学习Python基础知识。
上一篇: MLT的学习理解
下一篇: 京东购物车的 Java 架构实现及原理!