【scrapy】【五】scrapy项目二

1、多个url

在之前的基础上，添加多个url进行爬取，

第一种是将需要爬取的网站都列出来，在start_urls中

#在basic.py中
start_urls={
'网址1',
'网址2',
'网址3',

}

 第二种是如下写法：

start_urls=[i.strip() for i in open('todo.urls.txt').readlines()]

 

2、双向爬取（水平、垂直爬取）

水平爬取就是next page或者多个url进行爬取

垂直爬取是某个网页下某个目标的爬取

示例：

首先复制一下之前写的爬虫文件，basic.py

cp basic.py manual.py

【未完待续】