欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  web前端

在运行爬虫程序时总会出现以下异常_html/css_WEB-ITnose

程序员文章站 2022-06-10 11:26:49
...
我写的程序可以运行,但是总会出现以下异常中断运行,然后再运行程序时,就没问题了,很多次了

1.java.net.SocketTimeoutException: Read timed out

2.java.net.SocketTimeoutException: connect timed out

3.java.net.ConnectException: Connection timed out: connect

以上三个异常,经过跟踪确定都是在执行这句代码时出现的:

doc = Jsoup.connect( url) .data("query", "Java")
.userAgent("Mozilla")
.cookie("auth", "token")
.timeout(300000)
.post();
请问各位大神我这是什么个情况,该怎么解决啊? 因为这程序是用来爬取网页数据的,一直要循环加载上万条子网页的 url,是不是因为这个造成的啊?我该怎么解决呢?求各位大虾指点,泣不成声,泣不成声....

回复讨论(解决方案)

网络不稳定或者请求网页过时

你没有用个异常处理
你现在是io操作而且是远程的
整个运行环境你并不能完全确认是 不会出现问题

所以你至少要捕获异常 并且重新开始你刚才在异常下中断的任务