python 制作网站筛选工具(附源码)
程序员文章站
2023-08-19 09:40:57
一.思路1.整体思路2.代码思路思路很简单,就是用python发送请求,提取响应体中的状态码加以判断,最后保存到本地txt文本中,以实现网站信息的筛选。二.撰写代码import timeimport...
一.思路
1.整体思路
2.代码思路
思路很简单,就是用python发送请求,提取响应体中的状态码加以判断,最后保存到本地txt文本中,以实现网站信息的筛选。
二.撰写代码
import time import requests import urllib3 from concurrent.futures import threadpoolexecutor #取源文件中的网址并且去重 def get_url(old_file): with open(old_file,'r',encoding='gbk')as f: urllist=list(set(f.readlines())) return urllist #主体,发送请求,通过异常捕获判断能否响应,通过状态码判断网闸能否正常访问 def request(url): url=url.strip() #构造请求头信息 headers = { 'connection': 'keep-alive', 'user-agent': 'mozilla/5.0 (windows nt 10.0; wow64) applewebkit/537.36 (khtml, like gecko) chrome/78.0.3904.108 safari/537.36' } try: #忽略证书安全警告 urllib3.disable_warnings(urllib3.exceptions.insecurerequestwarning) r=requests.get(url,headers=headers,timeout=10,verify=false)#timeout设置超时时间,我设置了10s,使用verif=false忽略sll认证 if r.status_code==200: cost_time=r.elapsed.total_seconds()#计算访问耗时 print(url,' ----->【能访问】访问耗时:\033[35;46m{:.2f}s\033[0m'.format(cost_time)) can_access_save_to_txt(url) else: print(url,' ----->不能访问,状态码为:\033[31;44m{}\033[0m'.format(r.status_code)) except: print(url, ' ----->不能访问,原因:\033[31;44m不能响应\033[0m') #将能访问的网址保存到new_file def can_access_save_to_txt(result): result=result.strip() #筛选出不是.apk的url,此判断可以不加 if not result.endswith('.apk'): with open(aim_file,'a')as f: f.write(result+'\n') def main(): s_time=time.time() #使用线程池,创建四条线程。 pool=threadpoolexecutor(max_workers=4) urls=get_url(orign_file) for url in urls: pool.submit(request,url) pool.shutdown() e_time=time.time() sum_time=int(e_time-s_time) if sum_time>60: print(f'\033[38;46m 程序正常执行结束退出!共耗时:【{sum_time//60}分钟】 \033[0m') elif sum_time/60>1: print(f'\033[38;46m 程序正常执行结束退出!共耗时:【{sum_time//60*60}小时】 \033[0m') if __name__ == '__main__': orign_file=r'e:\test.txt' #筛选后能访问的网址 aim_file="./data/test_can_access.txt" #筛选后不能访问的网址 main()
三.运行结果
四.总结
本次使用python撰写了一款筛选网站的小工具,将网站大致分为能访问和不能访问两类,将能够访问且状态码为200的网站存储到了文件中,最终实现了网站的筛选。思路、代码方面有什么不足欢迎各位大佬指正、批评!
以上就是python 制作网站筛选工具(附源码)的详细内容,更多关于python 制作网站筛选工具的资料请关注其它相关文章!
上一篇: JS中有趣的知识
推荐阅读
-
python 制作网站筛选工具(附源码)
-
如何用Python爬取小游戏网站,把喜欢的游戏收藏起来(附源码)
-
Python与seo的应用,sitemap.xml文件制作工具源码
-
如何用Python爬取小游戏网站,把喜欢的游戏收藏起来(附源码)
-
基于vue-cli3和追书神器制作的移动端小说阅读网站,附接口和源码
-
python3 googletrans超时报错问题及翻译工具优化方案 附源码
-
Python编写炉石传说断网整活桌面工具源码(附下载可用exe程序)
-
Python爬虫学习教程 bilibili网站视频爬取!【附源码】
-
Python爬虫学习教程 猫眼电影网站视频爬取!【附源码】
-
python基于tkinter制作无损音乐下载工具(附源码)