欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

面试中现学现用的第一个爬虫程序(原生java+手动导包)

程序员文章站 2022-05-17 09:22:18
...

为了不浪费大家的时间,防止大家沉迷而导致荒废,大家可以按需观看,毕竟第一次写博客,字数有点多内容有点杂。

重点内容

爬虫原理(个人理解)

网页的编写是有规律的,我们爬取资源的时候应该按照规律去进行一些判定,从而筛选出我们想要的部分。

怎么爬取

现在的网站都是多层的结构,我们经常需要在每一层获取需要的资源,或者是到最下层获取资源,以上重点理解
举个例子,比如我要爬取豆瓣里面小组前50页帖子的照片(现学现用)因为帖子的上层是分页,所以完成需求就得获取前50页的链接,然后进入每一个分页中找到每个帖子的链接,在每个帖子中找到图片的位置并将图片保存到本地。以上就是我的这次面试题目的完整解题大纲了。

底层逻辑

如何通过一个链接得到链接网址的静态页面?怎么从静态页面中得到所需的标签?怎么从得到的标签内获取所需的内容?详细步骤在2.2中。

先简单说明事情的起因经过吧

  • 准大四狗在网课中空虚而裸面 找工作的作死路程。
  • 找的是后端开发c#,在校期间学的纯java,但是自我感觉良好,所以。。。
  • 面试共有4轮,一轮网面,二轮考基础,先为自己点个赞,题目都会,就是自己时间没安排好(下面详说),导致解题总有一些小问题。
  • 故事的悲伤发生在第三面,要求是在第二天的上机考核中实现一个爬虫,求一个只停留在听过爬虫的狗子的心理阴影面积
    面试中现学现用的第一个爬虫程序(原生java+手动导包)

那我们就开始正题吧面试中现学现用的第一个爬虫程序(原生java+手动导包)

在一顿猛如虎的操作中,我成功进入了最终面,题目简单抽象就是爬取豆瓣一个小组中的照片,并按照帖子标题+发布时间+文件大小保存到硬盘制定文件夹内。
首先因为是隔天考,当天中午才到深圳,下午面试,晚上找房子,所以到上机那一刻,我都是一个新鲜的 无知萌新。

  • 早上九点开始上机,从毫无头绪到找到思路用了4小时。
  • 下午一点开始码到五点大致完成。
  • 目前重新复盘一下快速学习的方法论,期望从中提取出有价值的快速学习方法。

1.上机后的四小时我都做了啥子!?!

首先作为一个只学过原生java和平常只刷刷Leecode没做过项目的人来说,这四小时注定没有答案。
人的思维是跳跃联想不连续的,除非刻意才能表现出逻辑性。所以以下的内容我将尽量的展现我思考的原始面貌,以期待能为大家提供帮助。

1.1安装需要的工具

在上机后的第一件事就是下载JDK和eclipse,毕竟其他都。。。
这是第一个痛点:大学教育的脱节导致在我说明我用的是eclipse的时候,我迎来了惊叹“这应该是老一辈人才还在用的了”
面试中现学现用的第一个爬虫程序(原生java+手动导包)
都是小问题。。。我们继续
首先重申一下,只学过原生java,什么框架spring,数据仓库maven都不会用。。。

1.2查询如何进行爬虫

1.2.1maven+框架

在我猴急的一顿“Java爬虫”中,度娘为我提供了热情的服务,在度娘的服务中我知道了可以用一些GitHub上面优秀的框架来完成爬虫,简单快捷又方便, 哇呜~好吧我看不懂,你的热情又打了水漂。

1.2.2可以只用maven不用框架

在我第二次提裤上阵的时候,度娘再次热情的接待了我,这次我的需求是“Java爬虫无框架!!!”,在这次度娘的*服务中,我索取了近十多次。。。网页。最终明白了爬虫不是非得用框架,可以用maven自动导包,用原生java就能解决问题
说干就干,查询了maven的安装使用教程后,我经历了两个小时的入门到放弃。
面试中现学现用的第一个爬虫程序(原生java+手动导包)
怪不得,怪不得,这特么对第一次太不友好了,怪不得eclipse会被嫌弃,这波操作果断劝退了我。
####1.2.3 原生java就能搞定,需要就百度下载包然后导包
在我扶着墙最后一次走近度娘时。。。。我终于悟了。
面试中现学现用的第一个爬虫程序(原生java+手动导包)
不会maven就不会嘛,反正自己不会就下载包不就得了。。。这才是啥子都不会的雏,也就是我的正确操作。

2.进入本次的高潮,说说我是怎么通过原生java和简单的导包完成一次爬虫的操作

建议先看完第四步再从第一步开始,不然出错别找我面试中现学现用的第一个爬虫程序(原生java+手动导包)

2.1第一步,分析并归纳步骤

首先既然不准备选择框架,自己手撕就意味着需要自己整理逻辑,并得到一个可行的解决方案。

2.1.1分析题目需求

题目需要我们对一个网站进行爬取图片并保存到本地的一个操作,我们就可以采用分治法把这个大问题分解,从而得到我们所能解决的小问题,再最终整合得到这个问题的答案。
第一个问题,怎么爬取资源?第二个问题,爬取后的资源怎么保存到本地?
上机后的四小时注定不是无用功,虽然没学过爬虫,但是爬取资源的操作大致就了解了。

2.1.2爬虫的原理

网页的编写是有规律的,我们爬取资源的时候应该按照规律去进行一些判定,从而筛选出我们想要的部分。

按照这个原理我们就可以可以把爬取这个问题再细分。

2.1.3怎么爬取

现在的网站都是多层的结构,我们经常需要在每一层获取需要的资源,或者是到最下层获取资源,以上重点理解。

举个例子,比如我要爬取豆瓣里面小组前50页帖子的照片(现学现用)因为帖子的上层是分页,所以完成需求就得获取前50页的链接,然后进入每一个分页中找到每个帖子的链接,在每个帖子中找到图片的位置并将图片保存到本地。以上就是我的这次面试题目的完整解题大纲了。
下面是具体子问题

  • 获取前50个分页的链接
  • 由一个分页链接得到分页内所有帖子的链接
  • 由帖子的链接得到帖子内所需图片的链接

2.1.4怎么保存到本地

每张图片的链接打开后即是一个下载路径,我们用java打开后,用IO流传输到本地即可。

2.2第二步,逐步完成所需方法

通过第一步我们得到我们需要实现的四个方法

  • 爬取前50分页链接
    每个网站的分页一般网站的target值会不一样,修改网址的target值就可以得到每个分页的网址链接
  • 爬取单个分页内帖子的链接
    分页贴子一般是通过表格实现的,而且帖子的class属性名都是一样的,通过筛选class属性即可得到每个贴子的网址。
  • 爬取帖子里图片的链接
    同上,贴子中的图片的class值往往都是相同的,也可以通过class值筛选需要的图片链接。
  • 通过图片链接保存到本地的io流方法

要实现以上方法,我们需要解决下面的问题,当完成下面的问题,这些方法就都能迎刃而解。

问题来了:如何通过一个链接得到链接网址的静态页面?怎么从静态页面中得到所需的标签?怎么从得到的标签内获取所需的内容?
三个问题一次解决面试中现学现用的第一个爬虫程序(原生java+手动导包)
下面的代码的功能是找到url(网址)内class标签为title的第一个子标签属性href的值,保存在集合中。
重点中的重点!!这个代码块就是爬虫的核心
百度下载 这个包jsoup-1.7.2.jar,导包教程百度有

import java.util.ArrayList;

import java.io.*;

import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;


	//集合保存获取到的数据
	ArrayList<String> arrayURL = new ArrayList();
	String url = "在这输入你要查的网址";
	String title = "在这输入你要查找的标签的class属性的值";
	try {
		//获取url网址
		Document doc= Jsoup.connect(url).get();
		Elements items = doc.getElementsByClass(title);
		for (Element e : items) {
			//获取标签的内容
			//e.val();
			//获取标签的子标签, i 为位置
			//e.child(i);
			//获取标签内属性的值,s为属性名称
			//e.attr(s);
			arrayURL.add(e.child(0).attr("href")); 
		}
	} catch (IOException e) {
		e.printStackTrace();
	}

通过以上代码再结合问题就能做出一个简单的爬虫了,我的问题的具体代码就不贴出了,毕竟网站不同没有参考性。但是这个方法是切实有效的。

2.3第三步,调用方法完成爬虫

以我的问题为例子:将特定豆瓣小组里面的前50页帖子的图片保存到本地。
我的步骤是先得到第一页的网址,对比和第二页的网址发现target值不一样,修改target值就得到前50页的链接
每个分页里面的帖子的class值我查看了网页的html后发现都为title,所以通过上面代码块的方法得到了每个分页的帖子的链接,遍历50个分页得到50个分页内所有帖子的链接。
进入帖子之后,通过多个帖子的比对,我也发现了帖子里面图片的class值是相同的,同上就可以获取到每个图片的链接。
每次获取到一个图片的链接后,通过IO流进行本地保存,具体的话百度挺多的,就不贴出了,有点懒了。

2.4第四步,完成工作并放弃治疗

在很嗨的保存了4000张图片后,正式宣布我的IP被封了,因为爬太凶了。。。这不能怪我啊,我之前又没爬过面试中现学现用的第一个爬虫程序(原生java+手动导包)
怎么知道还有这骚操作,各位引以为戒,为了表达我的悔改之意,我准备献出我珍藏多年的另一个代码

   `imeUnit.MILLISECONDS.sleep(5000);	//毫秒级延时请求,反反爬

直接让子弹多飞一会就行了,5秒抓取一个网页你还能封我??
面试中现学现用的第一个爬虫程序(原生java+手动导包)
当然具体应该放哪里合适就请各位老司机自行掌握了,当然在爬虫过程中可能有时会出现格式乱码现象,这时就得。。。。自己百度了我没事,嘿嘿嘿

3.总结

大学期间不能只停留在完成学习的任务上,或者参与暑期实习了解社会现象,或许上Leecode刷题加强底蕴,或许上GitHub参与开源项目积累经验。

最后,写代码前拜雍正。
面试中现学现用的第一个爬虫程序(原生java+手动导包)

相关标签: 爬虫 java