网络爬虫(网页追逐者)是什么 网络爬虫原理详情介绍

最近总听到一个熟悉而陌生的名词“网络爬虫”，到底什么是网络爬虫呢？小编和大家一起来探究一下“网络爬虫”吧，希望会对大家有所帮助，下面就一起来看看吧。

网络爬虫是什么

网络爬虫(又被称为网页蜘蛛，网络机器人，在foaf社区中间，更经常的称为网页追逐者)，是一种按照一定的规则，自动的抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁，自动索引，模拟程序或者蠕虫。

网络爬虫原理

网络爬虫是一个自动提取网页的程序，它为搜索引擎从万维网上下载网页，是搜索引擎的重要组成。传统爬虫从一个或若干初始网页的url开始，获得初始网页上的url，在抓取网页的过程中，不断从当前页面上抽取新的url放入队列,直到满足系统的一定停止条件。

工作流程

1.首先选取一部分精心挑选的种子url；

2.将这些url放入待抓取url队列；

3.从待抓取url队列中取出待抓取在url，解析dns，并且得到主机的ip，并将url对应的网页下载下来，存储进已下载网页库中。此外，将这些url放进已抓取url队列。

4.分析已抓取url队列中的url，分析其中的其他url，并且将url放入待抓取url队列，从而进入下一个循环。