Python爬取【京东商城】商品信息实例（末尾有关于价格的爬取）
程序员文章站
2022-04-19 14:09:30
以爬取商品类别——‘笔记本电脑’为例代码如下：import requestsfrom lxml.html import etreeheaders = { 'authority': 'search.jd.com', 'accept': '*/*', 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.116 Saf...
以爬取商品类别——‘笔记本电脑’为例
代码如下：
import requests
from lxml.html import etree
headers = {
'authority': 'search.jd.com',
'accept': '*/*',
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.116 Safari/537.36',
'x-requested-with': 'XMLHttpRequest',
'sec-fetch-site': 'same-origin',
'sec-fetch-mode': 'cors',
'sec-fetch-dest': 'empty',
'referer': 'https://search.jd.com/Search?keyword=%E7%AC%94%E8%AE%B0%E6%9C%AC%E7%94%B5%E8%84%91&suggest=1.his.0.0&wq=%E7%AC%94%E8%AE%B0%E6%9C%AC%E7%94%B5%E8%84%91&page=1&s=1&click=1',
'accept-language': 'zh-CN,zh;q=0.9',
}
real_url = 'https://search.jd.com/Search?keyword=%E7%AC%94%E8%AE%B0%E6%9C%AC%E7%94%B5%E8%84%91&enc=utf-8&suggest=1.def.0.V16--38s0&wq=bijiben&pvid=429ef81bb06b479cb77db61d856d2816'
# 获取笔记本电脑商品总页数
def total_numpage():
response = requests.get(real_url, headers=headers) # 获取数据
res_html = etree.HTML(response.text) # 解析数据
total_page = res_html.xpath('.//span[@class="fp-text"]/i/text()')[0].strip()
return total_page
#逐页获取商品信息
for i in range(1,int(total_numpage())*2+1):
#根据参数获取数据
params = {
'keyword':'\u7B14\u8BB0\u672C\u7535\u8111',
'suggest': '1.his.0.0',
'wq': '\u7B14\u8BB0\u672C\u7535\u8111',
'page': str(i),
's': str(1+(i-1)*25),
'scrolling':'y',
'log_id':'1594020048898.3534',
'tpl':'1_M',
'isList':'0'
}
response = requests.get(real_url, headers=headers, params=params) #获取数据
res_html = etree.HTML(response.text) #解析数据
goods_list_items = res_html.xpath('//li[@class="gl-item"]')
num_goods = len(goods_list_items)
if num_goods == '0':
print('第{}页,这页总共{}件商品'.format(i,num_goods))
print('None')
else:
print('第{}页,这页总共{}件商品'.format(i, num_goods))
x = 0
for goods_list_item in goods_list_items:
x = x + 1
good_name1 = goods_list_item.xpath('div[@class="gl-i-wrap"]/div[@class="p-name p-name-type-2"]/a/em/text()')[0].strip()
try:
good_name2 = goods_list_item.xpath('div[@class="gl-i-wrap"]/div[@class="p-name p-name-type-2"]/a/em/font/text()')[0]
except IndexError:
good_name2 = ''
try:
good_name3 = goods_list_item.xpath('div[@class="gl-i-wrap"]/div[@class="p-name p-name-type-2"]/a/em/text()')[1].strip()
except IndexError:
good_name3 = ''
good_name = good_name1 + good_name2 + good_name3
good_id = goods_list_item.xpath('@data-sku')[0]
list = [good_name, good_id]
print(x, list)
print('\n')
代码打印结果：
第1页,这页总共30件商品
1 ['荣耀笔记本电脑MagicBook 14 14英寸全面屏轻薄本（AMD锐龙5 16G 512G 多屏协同 指纹Win10）银', '100010816812']
2 ['华为(HUAWEI) MateBook D 14英寸全面屏轻薄笔记本电脑便携超级快充(AMD锐龙5 3500U 16+512GB)银', '100010879626']
3 ['联想(Lenovo)小新Air14 2020性能版 英特尔酷睿i5 全面屏独显轻薄笔记本电脑(i5 16G 512G MX350 100%sRGB)银', '100011386554']
4 ['戴尔DELL灵越5000 14英寸酷睿i5网课学习轻薄笔记本电脑(十代i5-1035G1 8G 512G MX230 2G独显)银', '100006546527']
5 ['联想(Lenovo)IdeaPad14s 2020 英特尔酷睿i3 14英寸网课办公窄边轻薄笔记本电脑(十代i3 8G 512G固态 FHD)银', '100013431578']
6 ['联想（Lenovo）威6 2020款 英特尔酷睿 i5 14英寸窄边框轻薄笔记本电脑(i5-1035G1 8G 512G PCIE 2G独显 FHD 全功能Type-C )相思灰', '100010370676']
7 ['联想(Lenovo)小新Air14 2020锐龙版 全面屏办公轻薄笔记本电脑(6核R5-4600U 16G 512G 100%sRGB高色域)深空灰', '100007218425']
8 ['联想(Lenovo)小新Pro13 2020 锐龙版 全面屏性能超轻薄笔记本电脑(6核R5-4600U 16G 512G 2.5K屏 高色域)灰', '100013291032']
9 ['联想(Lenovo)小新Pro13 2020锐龙版 全面屏高性能超轻薄笔记本电脑(8核R7-4800U 16G 512G 2.5K屏 高色域 )灰', '100007250507']
10 ['联想(Lenovo)小新15 2020英特尔酷睿i5 15.6英寸全面屏独显轻薄笔记本电脑(十代i5 16G 512G MX350高色域 )银', '100011773090']
11 ['戴尔DELL游匣G3 15.6英寸英特尔酷睿i5游戏笔记本电脑(九代i5-9300H 8G 512G GTX1650 72%NTSC)', '100005724680']
12 ['联想(Lenovo)小新Pro13锐龙版 性能网课办公轻薄笔记本电脑(标压R5-3550H 16G 512G 人脸识别 100%sRGB)银', '100005171461']
13 ['华为(HUAWEI) MateBook D 15.6英寸全面屏轻薄笔记本电脑便携超级快充(AMD R5 3500U 16G+512GB Office)银', '100013291000']
14 ['RedmiBook 14 增强版 全金属超轻薄(第十代英特尔酷睿i5-10210U 8G 512G SSD MX250 2G独显 支持手环疾速解锁)游戏 银 手提笔记本电脑小米 红米', '100004508927']
15 ['15.6英寸 超簿本 轻薄本笔记本电脑轻薄 超级本 学生网上课堂', '64488009826']
16 ['联想(Lenovo)小新Pro13 2020性能版 英特尔酷睿i5 全面屏独显轻薄笔记本电脑(i5 16G 512G MX350高色域)银', '100006487373']
17 ['联想ThinkPad E495（0BCD）14英寸轻薄笔记本电脑（锐龙5-3500U 8G 512GSSD FHD Win10）黑色', '100011213626']
18 ['荣耀笔记本电脑MagicBook 15 15.6英寸全面屏轻薄本 (锐龙R5 16G 512G 多屏协同 指纹识别 Win10）银', '100006008837']
19 ['华硕(ASUS) VivoBook15s 英特尔酷睿i5 新版15.6英寸轻薄笔记本电脑(i5-1035G1 8G 512GSSD MX330 2G独显)银', '100007161973']
20 ['联想(Lenovo)小新15 2020锐龙版 全面屏办公轻薄笔记本电脑(6核R5-4600U 16G 512G 100%sRGB 高色域)银', '100013023568']
21 ['联想(Lenovo)拯救者R7000 15.6英寸游戏笔记本电脑(R5-4600H 16G 512G SSD GTX1650 100%sRGB)幻影黑', '100012885246']
22 ['联想(Lenovo)拯救者Y7000 15.6英寸游戏笔记本电脑(i5-10300H 16G 512G SSD GTX1650 100%sRGB)幻影黑', '100007045421']
23 ['惠普(HP)星14 青春版 14英寸轻薄窄边框笔记本电脑(R5-3500U 8G 256GSSD FHD IPS)银', '100010409532']
24 ['华为(HUAWEI)MateBook 13 2020款全面屏轻薄性能笔记本电脑十代酷睿(i5 16G 512G MX250 触控屏 多屏协同)银', '100011177202']
25 ['联想ThinkBook 14英特尔酷睿i5 14英寸轻薄笔记本电脑(十代酷睿i5 8G 512G傲腾增强型SSD 2G独显)', '100010370680']
26 ['荣耀MagicBook Pro 16.1英寸全面屏轻薄高性能笔记本电脑（标压锐龙5 16G 512G 100%sRGB Win10）银', '100004563443']
27 ['华硕(ASUS) 天选 15.6英寸游戏笔记本电脑(新锐龙 7nm 8核 R7-4800H 8G 512GSSD RTX2060 6G 144Hz)钛空灰', '100006460635']
28 ['华为HUAWEI MateBook 14 2020款全面屏轻薄笔记本电脑十代酷睿(i5 16G 512G MX350 触控屏 多屏协同)灰', '100012950506']
29 ['华硕（ASUS）破晓7 2020款 英特尔酷睿15.6英寸商务轻薄本笔记本电脑i5预装Office 银灰色 英特尔酷睿i5 16G 1T+256固态 2G独显', '28206239565']
30 ['华为HUAWEI MateBook 14 2020款全面屏轻薄性能笔记本电脑十代酷睿(i7 16G 512G MX350 触控屏 多屏协同)银', '100012950554']
第2页,这页总共30件商品
1 ['荣耀MagicBook Pro 16.1英寸全面屏轻薄高性能笔记本电脑（标压锐龙5 16G 512G 100%sRGB Win10）银', '100004563443']
2 ['华硕(ASUS) 天选 15.6英寸游戏笔记本电脑(新锐龙 7nm 8核 R7-4800H 8G 512GSSD RTX2060 6G 144Hz)钛空灰', '100006460635']
3 ['华为HUAWEI MateBook 14 2020款全面屏轻薄笔记本电脑十代酷睿(i5 16G 512G MX350 触控屏 多屏协同)灰', '100012950506']
4 ['华硕（ASUS）破晓7 2020款 英特尔酷睿15.6英寸商务轻薄本笔记本电脑i5预装Office 银灰色 英特尔酷睿i5 16G 1T+256固态 2G独显', '28206239565']
5 ['华为HUAWEI MateBook 14 2020款全面屏轻薄性能笔记本电脑十代酷睿(i7 16G 512G MX350 触控屏 多屏协同)银', '100012950554']
6 ['华为(HUAWEI)MateBook D 14全面屏轻薄笔记本电脑多屏协同便携超级快充(i5-10210U 16G+512G 独显)银', '100006051933']
7 ['宏碁(Acer)墨舞EX215 15.6英寸轻薄大屏笔记本(四核N4120 4G 128GSSD 蓝光护盾 网课 办公 Win10)', '100012696986']
8 ['联想（Lenovo）IdeaPad14s 2020款 十代英特尔酷睿 14英寸 高性能轻薄笔记本电脑银色 i3-1005G1/8G/512G鼠标套装', '70073013324']
9 ['Apple 2020新款 MacBook Air 13.3 Retina屏 十代i3 8G 256G SSD 银色笔记本电脑轻薄本 MWTK2CH/A', '100006589419']
10 ['RedmiBook 16 锐龙版 超轻薄全面屏(6核R5-4500U 16G 512G 100% sRGB高色域)灰 手提笔记本电脑小米 红米', '100013171136']
11 ['惠普(HP)星14 青春版 14英寸轻薄窄边框笔记本电脑(R5-3500U 16G 512GSSD FHD IPS)银', '100006302835']
12 ['联想ThinkPad X395（0YCD）13.3英寸轻薄笔记本电脑（锐龙7 PRO 3700U 8G 512GSSD FHD 指纹识别 高色域）', '100007317132']
13 ['惠普(HP)暗影精灵5 15.6英寸 游戏笔记本电脑(i5-9300H 8G 512GSSD GTX1650 4G独显 72%高色域)', '100005603836']
14 ['联想(Lenovo)小新15 2020英特尔酷睿i7 15.6英寸全面屏独显轻薄笔记本电脑(十代i7 16G 512G MX350高色域 )银', '100011773074']
15 ['荣耀MagicBook 14 14英寸全面屏轻薄笔记本电脑（十代英特尔酷睿i5 16G 512G MX250 指纹 Win10）冰河银', '100010816672']
16 ['华为HUAWEI MateBook 14 2020款全面屏轻薄性能笔记本电脑十代酷睿(i7 16G 512G MX350 触控屏 多屏协同)灰', '100007078171']
17 ['联想ThinkPad E14 锐龙版（1TCD）14英寸轻薄笔记本电脑（锐龙5-4500U 16G 512GSSD IPS高分屏）黑色', '100007233381']
18 ['华硕（ASUS）VivoBook14 十代酷睿 2020新品14英寸轻薄本笔记本电脑预装office i5-10210U 8G 512G固态 独显 黑', '69199960590']
19 ['Apple MacBook Air 13.3 | Core i5 8G 128G SSD笔记本电脑轻薄本 银色 MQD32CH/A', '5225346']
20 ['宏碁(Acer)蜂鸟Fun 2020新款 14英寸 高性能轻薄宏基笔记本电脑(十代酷睿 8G 512GSSD MX350独显 长续航)银', '100012481694']
21 ['戴尔DELL灵越5000fit 14英寸英特尔酷睿i5轻薄窄边框笔记本电脑(十代i5-10210U 8G 512G MX250 2G 2年整机)银', '100007539330']
22 ['小米 (MI)Ruby 15.6英寸 网课 学习轻薄笔记本电脑(英特尔酷睿i5-8250U 8G 512G SSD 2G GDDR5独显 FHD 全键盘 Office Win10) 深空灰', '100004364088']
23 ['荣耀MagicBook Pro Win10 16.1英寸全面屏轻薄性能笔记本电脑（标压锐龙7 16G 512G 100%sRGB）冰河银', '100011256976']
24 ['华为(HUAWEI) MateBook D 14英寸全面屏轻薄笔记本电脑便携超级快充(AMD锐龙5 3500U 16+512GB)灰', '100010879608']
25 ['联想ThinkPad 翼490(E490 2QCD)英特尔酷睿i3 14英寸轻薄笔记本电脑(i3-8145U 8G 256GSSD FHD)银色', '100012675410']
26 ['惠普（HP）战66 三代 AMD版14英寸轻薄笔记本电脑（锐龙7nm 六核R5-4500U 8G 512G 400尼特高色域一年上门 ）', '100012583158']
27 ['惠普（HP）战66 三代 14英寸轻薄笔记本电脑（i5-10210U 8G 512G PCIe MX250 2G 一年上门+意外 3年保修）', '100005217597']
28 ['荣耀笔记本电脑MagicBook 15 15.6英寸全面屏轻薄本（锐龙R7 8G 512G 指纹 Win10）冰河银', '100005928469']
29 ['荣耀笔记本电脑MagicBook Pro 16.1英寸全面屏轻薄性能本（酷睿i5 16G 512G MX250 100%sRGB Win10 ）冰河银', '100007818806']
30 ['宏碁(Acer)暗影骑士·擎 新十代酷睿 144hz 游戏本笔记本电脑（i5-10300H/16G/512G SSD GTX1650Ti 4G RGB）', '100006743209']
第3页,这页总共30件商品
1 ['惠普（HP）战66 三代 AMD版14英寸轻薄笔记本电脑（锐龙7nm 六核R5-4500U 8G 512G 400尼特高色域一年上门 ）', '100012583158']
2 ['惠普（HP）战66 三代 14英寸轻薄笔记本电脑（i5-10210U 8G 512G PCIe MX250 2G 一年上门+意外 3年保修）', '100005217597']
3 ['荣耀笔记本电脑MagicBook 15 15.6英寸全面屏轻薄本（锐龙R7 8G 512G 指纹 Win10）冰河银', '100005928469']
4 ['荣耀笔记本电脑MagicBook Pro 16.1英寸全面屏轻薄性能本（酷睿i5 16G 512G MX250 100%sRGB Win10 ）冰河银', '100007818806']
5 ['宏碁(Acer)暗影骑士·擎 新十代酷睿 144hz 游戏本笔记本电脑（i5-10300H/16G/512G SSD GTX1650Ti 4G RGB）', '100006743209']
6 ['华为(HUAWEI)MateBook 13 2020款全面屏轻薄性能笔记本电脑十代酷睿(i5 16G 512G MX250 触控屏 多屏协同)灰', '100011177180']
7 ['联想(Lenovo)拯救者Y7000P 英特尔酷睿i5 15.6英寸游戏笔记本电脑(i5-9300HF 16G 1TSSD GTX1660Ti 144Hz)竞技版', '100006288375']
8 ['15.6英寸 超簿本 轻薄本笔记本电脑轻薄 超级本 学生网上课堂', '31689877496']
9 ['联想（Lenovo）拯救者R7000 2020款15.6英寸游戏笔记本电脑R5-4600H 16G GTX1650套装', '60992680372']
10 ['RedmiBook 14 二代 锐龙版 超轻薄 全面屏(6核R5-4500U 16G 512G SSD)银 手提笔记本电脑小米 红米', '100013155822']
11 ['联想ThinkPad E15锐龙版（1FCD）15.6英寸轻薄笔记本电脑（锐龙7-4700U 16G双通道 512GSSD FHD）黑色', '100013479214']
12 ['机械革命（MECHREVO）S2 Air 14英寸(R5-4600H 16G 512G SSD 高色域)AMD锐龙版轻薄笔记本电脑银', '100013429878']
13 ['联想ThinkPad E480 14英寸窄边框商务办公手提笔记本电脑超轻薄本 银色 【i3高清】8G 256G固态@2XCD定制', '25168769082']
14 ['超薄本 11.6英寸娱乐本 学生网上课堂电脑远程办公本游戏本 超级本 轻薄', '70861248771']
15 ['联想(Lenovo)小新Pro13 2020性能版 英特尔酷睿i7 全面屏轻薄独显笔记本电脑(i7 16G 512G MX350 100%sRGB)银', '100011773072']
16 ['联想(Lenovo)小新Air14 2020英特尔酷睿i7 高性能轻薄独显笔记本电脑(i7 16G 512G MX350 100%sRGB IPS屏) 银色', '100006295053']
17 ['荣耀MagicBook Pro 2020 16.1英寸全面屏轻薄笔记本电脑（十代酷睿i5 16G 512G MX350 100%sRGB）冰河银', '100013171828']
18 ['荣耀MagicBook Pro 2020 16.1英寸全面屏轻薄笔记本电脑（十代酷睿i7 16G 512G MX350 100%sRGB）冰河银', '100007187885']
19 ['RedmiBook 16 锐龙版 超轻薄 全面屏(8核R7-4700U 16G 512G 100% sRGB高色域)灰 手提笔记本电脑小米 红米', '100013171134']
20 ['华硕（ASUS）VivoBook15十代酷睿 2020新品 15.6英寸全面屏轻薄本笔记本电脑银色 i7-1065G7 8G 512G固态 MX330', '69398204858']
21 ['戴尔DELL灵越7000-7591英特尔酷睿i7 15.6英寸 高色域 全面屏 高性能 创意 设计师 戴尔电脑轻薄本', '100003406361']
22 ['华硕（ASUS）飞行堡垒7 15.6英寸窄边框游戏本笔记本电脑120Hz IPS屏 标压锐龙R5 GTX 1650 8G 512G PCIE固态', '26848709806']
23 ['惠普(HP)暗影精灵5 15.6英寸游戏笔记本电脑(i5-9300H 8G 512GSSD GTX1650 4G独显)', '100005546845']
24 ['联想小新Air14锐龙版2020款R5笔记本电脑超薄本六核超级本R7学生用轻薄女生商务办公游戏超极本 标配丨R5-4600U 8G 256G固态 深空灰 新品7纳米/上网课', '57773460022']
25 ['华硕(ASUS) 天选 15.6英寸游戏笔记本电脑(新锐龙 7nm 8核 R7-4800H 8G 512GSSD GTX1650Ti 4G 144Hz)钛空灰', '100006460639']
26 ['惠普（HP）星14青春版 14英寸轻薄便携 超轻薄金属商务办公学生游戏手提笔记本电脑星14青春版【优雅银-高清屏】 套餐一 8G/PCI-E 256G【推荐】', '26877580262']
27 ['戴尔DELL灵越5000 15.6英寸网课学习轻薄笔记本电脑(i5-1035G1 8G 512GSSD MX230 2G独显)银', '100011847382']
28 ['戴尔(DELL)G5 英特尔酷睿i7电竞游戏本笔记本电脑(十代标压i7 16G内存 512G固态硬盘 RTX 2060 6G 144Hz)', '100007136939']
29 ['华硕Redolbook14 英特尔酷睿i5 高性能全面屏长续航轻薄笔记本电脑(i5-10210U 8G内存 512G PCIe高速固态 MX330 2G独显 网课办公 DC调光) 曜夜黑', '100007204769']
30 ['RedmiBook 14 增强版 全金属超轻薄(第十代英特尔酷睿i7-10510U 16G 512G SSD MX250 2G独显 支持手环疾速解锁)游戏 银 手提笔记本电脑小米 红米', '100012751534']
第4页,这页总共30件商品
1 ['惠普（HP）星14青春版 14英寸轻薄便携 超轻薄金属商务办公学生游戏手提笔记本电脑星14青春版【优雅银-高清屏】 套餐一 8G/PCI-E 256G【推荐】', '26877580262']
2 ['戴尔DELL灵越5000 15.6英寸网课学习轻薄笔记本电脑(i5-1035G1 8G 512GSSD MX230 2G独显)银', '100011847382']
3 ['戴尔(DELL)G5 英特尔酷睿i7电竞游戏本笔记本电脑(十代标压i7 16G内存 512G固态硬盘 RTX 2060 6G 144Hz)', '100007136939']
4 ['华硕Redolbook14 英特尔酷睿i5 高性能全面屏长续航轻薄笔记本电脑(i5-10210U 8G内存 512G PCIe高速固态 MX330 2G独显 网课办公 DC调光) 曜夜黑', '100007204769']
5 ['RedmiBook 14 增强版 全金属超轻薄(第十代英特尔酷睿i7-10510U 16G 512G SSD MX250 2G独显 支持手环疾速解锁)游戏 银 手提笔记本电脑小米 红米', '100012751534']
6 ['RedmiBook 14 锐龙版 全金属超轻薄(R5 8G 512G PCIe 全高清)银 游戏 手提笔记本电脑小米 红米', '100005188613']
7 ['华硕(ASUS) VivoBook15s 英特尔酷睿i3 新版15.6英寸轻薄笔记本电脑(i3-1005G1 8G 512GSSD WIN10)银', '100007445445']
8 ['华硕（ASUS）VivoBook14 十代酷睿 2020新品14英寸轻薄本笔记本电脑预装office i5-10210U 8G 512G固态 独显 白', '69199960589']
9 ['荣耀笔记本电脑MagicBook Pro 16.1英寸全面屏轻薄性能本（酷睿i7 16G 512G MX250 100%sRGB Win10 ）冰河银', '100012076648']
10 ['华硕（ASUS）飞行堡垒7 15.6英寸窄边框游戏本笔记本电脑120Hz IPS屏 标压锐龙R7 GTX 1650 8G 512G PCIE固态', '50485703106']
11 ['华硕(ASUS) 顽石六代Pro 高性能锐龙 15.6英寸轻薄笔记本电脑(R7-3700U 8G 512SSD 正版WIN10)银色', '100012039000']
12 ['机械革命（MECHREVO）Code01 15.6英寸(R7-4800H 16G 512G PCIE 100%sRGB WIFI6)轻薄笔记本电脑媲美游戏本', '100013420504']
13 ['华硕顽石(ASUS) R424 英特尔酷睿i3 14英寸窄边轻薄笔记本电脑(i3-8145U 4G 256GSSD)银色', '100007507848']
14 ['小米Air 12.5英寸 网课 学习 全金属超轻薄(英特尔酷睿M3-8100Y 4G 128G 全高清屏)银 手提笔记本电脑', '100004363846']
15 ['联想ThinkPad X1 Carbon（01CD）英特尔酷睿i5 14英寸高性能 全面屏 超轻薄 高端商务 联想电脑', '100005653633']
16 ['惠普(HP)暗影精灵6 plus 17.3英寸游戏笔记本电脑(i7-10750H 16G 1TSSD RTX2070 8G独显)', '100013054364']
17 ['华硕（ASUS）破晓7 2020款 英特尔酷睿15.6英寸商务轻薄本笔记本电脑i5预装Office 银灰色 英特尔酷睿i5 16G 512G固态 2G独显', '69804070678']
18 ['得峰（Deffad）新品15.6英寸酷睿I7超轻簿IPS全面屏金属窄边框数字键盘游戏办公本笔记本电脑银色-新款酷睿i7-4510U 8G内存+固态硬盘128G', '67306255547']
19 ['华为(HUAWEI)MateBook 13 2020款 锐龙版 全面屏轻薄笔记本电脑(AMD R5 16+512GB 集显 Office 2K )银', '100011045982']
20 ['机械革命（MECHREVO）蛟龙P AMD 17.3英寸144Hz游戏笔记本电脑(锐龙7nm 8核 R7-4800H 16G 512G RTX 2060)', '100013206314']
21 ['联想(Lenovo)IdeaPad14s 2020 英特尔酷睿i5 14英寸高性能轻薄独显笔记本电脑(十代i5 8G 512G固态 MX330 )银', '100013431602']
22 ['宏碁(Acer)传奇 14英寸 新7nm六核处理器 高性能轻薄本 全金属 宏基笔记本电脑(R5-4500U 8G 512GSSD Win10)', '100006461099']
23 ['联想ThinkBook 15(06CD)英特尔酷睿i5 15.6英寸轻薄笔记本电脑(十代i5-1035G1 8G 512G傲腾增强型SSD 2G独显)', '100006392247']
24 ['Apple 2020新款 MacBook Pro 13.3【带触控栏】十代i5 16G 512G 2.0GHz 深空灰笔记本电脑轻薄本 MWP42CH/A', '100013068434']
25 ['惠普（HP）战66 三代 AMD版14英寸轻薄笔记本电脑（锐龙7nm 六核 R5-4500U 8G 512G 一年上门+意外 2年电池）', '100006893701']
26 ['戴尔DELL灵越5000 fit 14英寸英特尔酷睿i7轻薄笔记本电脑(十代i7-10510U 8G 1TSSD MX250 2G 2年整机上门)银', '100007539322']
27 ['小米Air 13.3英寸 网课 学习全金属超轻薄(英特尔酷睿i5-8250U 8G 512G PCIE SSD MX250 2G独显 72%NTSC Office 指纹版)游戏 银色笔记本电脑', '100005886932']
28 ['惠普（HP）战66三代AMD版15.6英寸轻薄笔记本电脑（锐龙7nm 六核R5-4500U 8G 512G 一年上门+意外 2年电池）', '100012516428']
29 ['华为荣耀笔记本电脑MagicBook14/15超薄本轻薄本便携学生商务办公本魔法书锐龙超极本 银14 R5 8G 256G集显win10', '57120254694']
30 ['联想ThinkPad E480（5NCD）英特尔酷睿i3 14英寸轻薄笔记本电脑（i3-7020U 4G 1T FHD Win10）银', '100012720994']
第5页,这页总共30件商品
1 ['戴尔DELL灵越5000 fit 14英寸英特尔酷睿i7轻薄笔记本电脑(十代i7-10510U 8G 1TSSD MX250 2G 2年整机上门)银', '100007539322']
2 ['小米Air 13.3英寸 网课 学习全金属超轻薄(英特尔酷睿i5-8250U 8G 512G PCIE SSD MX250 2G独显 72%NTSC Office 指纹版)游戏 银色笔记本电脑', '100005886932']
3 ['惠普（HP）战66三代AMD版15.6英寸轻薄笔记本电脑（锐龙7nm 六核R5-4500U 8G 512G 一年上门+意外 2年电池）', '100012516428']
4 ['华为荣耀笔记本电脑MagicBook14/15超薄本轻薄本便携学生商务办公本魔法书锐龙超极本 银14 R5 8G 256G集显win10', '57120254694']
5 ['联想ThinkPad E480（5NCD）英特尔酷睿i3 14英寸轻薄笔记本电脑（i3-7020U 4G 1T FHD Win10）银', '100012720994']
6 ['机械革命（MECHREVO）S1 Air 14英寸 AMD锐龙版(全新12nm)轻薄笔记本电脑(R5-3500U 8G 512G SSD) 银', '100011088800']
7 ['华为(HUAWEI)MateBook 13 2020款 锐龙版 全面屏轻薄笔记本电脑(AMD R5 16+512GB 集显 Office 2K )灰', '100006567327']
8 ['戴尔DELL成就5000 13.3英寸英特尔酷睿i5窄边框轻薄笔记本电脑(十代i5-10210U 8G 512G MX250 2G 高色域)银', '100008961702']
9 ['宏碁 传奇 14英寸 7nm六核处理器 轻薄本 全功能Type-C 金属机身笔记本电脑(R5-4500U 7纳米 16G 512GSSD )', '100006461093']
10 ['机械革命(MECHREVO)Z3 Air 英特尔酷睿i7 游戏5Ghz新时代 15.6英寸 120Hz电竞屏 轻薄游戏笔记本电脑(i7-10750H 8G 512G GTX1650)', '100012177976']
11 ['ROG魔霸新锐 十代酷睿i7 15.6英寸144Hz电竞屏高色域游戏本笔记本电脑(8核i7-10875H 16G 512GSSD RTX2060)', '100013494228']
12 ['惠普（HP）战66三代 AMD版15.6英寸轻薄笔记本电脑（锐龙7nm 六核R5-4500U 8G 512G 400尼特高色域一年上门）', '100013312594']
13 ['机械革命(MECHREVO)Z3 Air 英特尔酷睿i5 15.6英寸120Hz 轻薄游戏笔记本电脑(i5-10300H 8G 512G GTX1650)', '100012177986']
14 ['惠普（HP）战66 三代 14英寸轻薄笔记本电脑（i7-10510U 8G 512G MX250 2G 高色域 一年上门+意外 2年电池）', '100005217591']
15 ['联想ThinkPad X390（39CD）英特尔酷睿i5 13.3英寸轻薄笔记本电脑（i5-8265U 8G 256GSSD FHD）', '100004311524']
16 ['机械革命（MECHREVO）S2 Air 14英寸(R7-4800H 16G 512G SSD 高色域)AMD锐龙版轻薄笔记本电脑银', '100013427356']
17 ['宏碁 (Acer) 墨舞EX215 15.6英寸轻薄大屏笔记本(四核N4120 4G 1T 蓝光护盾 网课 办公 Win10)', '100012698256']
18 ['华为(HUAWEI)MateBook D 15全面屏轻薄笔记本电脑多屏协同便携超级快充(十代酷睿i5 16G+512G 独显)银', '100006567337']
19 ['联想ThinkPad T495(02CD)14英寸轻薄笔记本电脑(R5 PRO-3500U 8G 512GSSD FHD Micro SD读卡器)', '100005729171']
20 ['华为(HUAWEI)MateBook 13 2020款全面屏轻薄性能笔记本电脑十代酷睿(i7 16G 512G MX250 触控屏 多屏协同)银', '100011176576']
21 ['联想ThinkBook 15(03CD)英特尔酷睿i7 15.6英寸轻薄笔记本电脑(十代i7-1065G7 16G 512G傲腾增强型SSD FHD)', '100005772313']
22 ['惠普HP星15青春版15.6英寸轻薄笔记本电脑酷睿十代i5-1035G1/8G/512GSSD/ MX330 2G独显/高清屏/闪耀银', '68981252360']
23 ['15.6英寸 超簿本 轻薄本笔记本电脑轻薄 超级本 学生网上课堂', '64488009825']
24 ['RedmiBook 14 增强版 全金属超轻薄(第十代英特尔酷睿i7-10510U 8G 512G SSD MX250 2G独显 手环疾速解锁 Office)银色 手提笔记本电脑', '100004508929']
25 ['华为(HUAWEI)MateBook D 14全面屏轻薄笔记本电脑多屏协同便携超级快充(i5-10210U 16G+512G 独显)灰', '100010903938']
26 ['戴尔DELL灵越5000fit 15.6英寸英特尔酷睿i5轻薄窄边框笔记本电脑(十代i5-10210U 8G 512G MX250 2G 2年整机)', '100004366047']
27 ['联想ThinkPad E14 十代英特尔酷睿i5-10210U 14英寸全高清屏商务轻薄笔记本电脑8G 128G固态+1TB混合双盘 独显 3CCD', '69501333277']
28 ['戴尔灵越15燃 15.6英寸轻薄窄边框笔记本电脑(AMD R5 3500U 8G 512GSSD PCIe FHD)银', '100011677346']
29 ['荣耀MagicBook Pro Win10 16.1英寸全面屏轻薄性能笔记本电脑（标压锐龙R5 8G 512G 100%sRGB）冰河银', '100007934914']
30 ['中柏（Jumper）14英寸6G+64G轻薄笔记本电脑EZbook S5 664', '100013262922']
后面太长了，省略......
将上面的代码改为带存储的：
import requests
from lxml.html import etree
import csv
import time
headers = {
'authority': 'search.jd.com',
'accept': '*/*',
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.116 Safari/537.36',
'x-requested-with': 'XMLHttpRequest',
'sec-fetch-site': 'same-origin',
'sec-fetch-mode': 'cors',
'sec-fetch-dest': 'empty',
'referer': 'https://search.jd.com/Search?keyword=%E7%AC%94%E8%AE%B0%E6%9C%AC%E7%94%B5%E8%84%91&suggest=1.his.0.0&wq=%E7%AC%94%E8%AE%B0%E6%9C%AC%E7%94%B5%E8%84%91&page=1&s=1&click=1',
'accept-language': 'zh-CN,zh;q=0.9',
}
csv_file = open('笔记本电脑.csv','w',newline='',encoding='utf-8-sig') #将utf-8改为utf-8-sig来解决表格存储中文乱码问题
writer = csv.writer(csv_file)
writer.writerow(['笔记本品牌型号','商品id'])
csv_file.close()
real_url = 'https://search.jd.com/Search?keyword=%E7%AC%94%E8%AE%B0%E6%9C%AC%E7%94%B5%E8%84%91&enc=utf-8&suggest=1.def.0.V16--38s0&wq=bijiben&pvid=429ef81bb06b479cb77db61d856d2816'
def total_numpage():
response = requests.get(real_url, headers=headers) # 获取数据
res_html = etree.HTML(response.text) # 解析数据
total_page = res_html.xpath('.//span[@class="fp-text"]/i/text()')[0].strip()
return total_page
for i in range(1,int(total_numpage())*2+1):
params = {
'keyword':'\u7B14\u8BB0\u672C\u7535\u8111',
'suggest': '1.his.0.0',
'wq': '\u7B14\u8BB0\u672C\u7535\u8111',
'page': str(i),
's': str(1+(i-1)*25),
'scrolling':'y',
'log_id':'1594020048898.3534',
'tpl':'1_M',
'isList':'0'
}
response = requests.get(real_url, headers=headers, params=params) #获取数据
res_html = etree.HTML(response.text) #解析数据
goods_list_items = res_html.xpath('//li[@class="gl-item"]')
num_goods = len(goods_list_items)
if num_goods == 0:
print('第{}页,这页总共{}件商品'.format(i,num_goods))
print('None')
else:
print('第{}页,这页总共{}件商品'.format(i, num_goods))
x = 0
for goods_list_item in goods_list_items:
x = x + 1
good_name1 = goods_list_item.xpath('div[@class="gl-i-wrap"]/div[@class="p-name p-name-type-2"]/a/em/text()')[0].strip()
try:
good_name2 = goods_list_item.xpath('div[@class="gl-i-wrap"]/div[@class="p-name p-name-type-2"]/a/em/font/text()')[0].strip()
except IndexError:
good_name2 = ''
try:
good_name3 = goods_list_item.xpath('div[@class="gl-i-wrap"]/div[@class="p-name p-name-type-2"]/a/em/text()')[1].strip()
except IndexError:
good_name3 = ''
good_name = good_name1 + good_name2 + good_name3 #获取商品名称
good_id = goods_list_item.xpath('@data-sku')[0].strip() #获取商品id
list = [good_name, good_id]
print(x, list)
csv_file = open('笔记本电脑.csv', 'a', newline='', encoding='utf-8-sig') #将utf-8改为utf-8-sig来解决表格存储中文乱码问题
writer = csv.writer(csv_file)
writer.writerow(list)
print('\n')
time.sleep(1) #限制访问时间间隔，是为了解决京东网站反爬，速度太快就抓取不到东西
csv_file.close()
京东商品价格的爬取：
文章链接：Python爬虫——爬取京东商品（价格，评论数）
按f12检查, 京东的价格是通过js加载的，直接获取html的是不能的
得到价格信息的url：https://p.3.cn/prices/mgets?skuIds=3575321949， "35753219491"是商品编号
返回是一个json文件，我们写出如下代码获取
jsons = json.loads(response.text[0:-1])
price = jsons[0][‘p’]
以上是我曾经写代码的参考，以下是我自己的代码：
import requests
from lxml.html import etree
import csv
import time
headers = {
'authority': 'search.jd.com',
'accept': '*/*',
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.116 Safari/537.36',
'x-requested-with': 'XMLHttpRequest',
'sec-fetch-site': 'same-origin',
'sec-fetch-mode': 'cors',
'sec-fetch-dest': 'empty',
'referer': 'https://search.jd.com/Search?keyword=%E7%AC%94%E8%AE%B0%E6%9C%AC%E7%94%B5%E8%84%91&suggest=1.his.0.0&wq=%E7%AC%94%E8%AE%B0%E6%9C%AC%E7%94%B5%E8%84%91&page=1&s=1&click=1',
'accept-language': 'zh-CN,zh;q=0.9',
}
csv_file = open('笔记本电脑.csv','w',newline='',encoding='utf-8-sig')
writer = csv.writer(csv_file)
writer.writerow(['笔记本电脑品牌','笔记本电脑型号','商品id','现价','原价','商品链接'])
csv_file.close()
def total_numpage():
response = requests.get('https://search.jd.com/Search?keyword=%E7%AC%94%E8%AE%B0%E6%9C%AC%E7%94%B5%E8%84%91&enc=utf-8&suggest=1.def.0.V16--38s0&wq=bijiben&pvid=429ef81bb06b479cb77db61d856d2816', headers=headers) # 获取数据
res_html = etree.HTML(response.text) # 解析数据
total_page = res_html.xpath('.//span[@class="fp-text"]/i/text()')[0].strip()
return total_page
for i in range(1,int(total_numpage())*2+1):
params = {
'keyword':'\u7B14\u8BB0\u672C\u7535\u8111',
'suggest': '1.his.0.0',
'wq': '\u7B14\u8BB0\u672C\u7535\u8111',
'page': str(i),
's': str(1+(i-1)*25),
'scrolling':'y',
'log_id':'1594020048898.3534',
'tpl':'1_M',
'isList':'0'
}
response = requests.get('https://search.jd.com/s_new.php', headers=headers, params=params) #获取数据
res_html = etree.HTML(response.text) #解析数据
goods_list_items = res_html.xpath('//li[@class="gl-item"]')
num_goods = len(goods_list_items)
if num_goods == 0:
print('第{}页,这页总共{}件商品'.format(i,num_goods))
print('None')
else:
print('第{}页,这页总共{}件商品'.format(i, num_goods))
x = 0
for goods_list_item in goods_list_items:
x = x + 1
good_name1 = goods_list_item.xpath('div[@class="gl-i-wrap"]/div[@class="p-name p-name-type-2"]/a/em/text()')[0].strip()
try:
good_name2 = goods_list_item.xpath('div[@class="gl-i-wrap"]/div[@class="p-name p-name-type-2"]/a/em/font/text()')[0].strip()
except IndexError:
good_name2 = ''
try:
good_name3 = goods_list_item.xpath('div[@class="gl-i-wrap"]/div[@class="p-name p-name-type-2"]/a/em/text()')[1].strip()
except IndexError:
good_name3 = ''
good_name = good_name1 + good_name2 + good_name3
good_id = goods_list_item.xpath('@data-sku')[0].strip()
price_url = f'http://p.3.cn/prices/mgets?skuIds={good_id}'
try:
price_json = requests.get(price_url, headers=headers).json()
goods_now_price = price_json[0].get('p') # 现在的价格
goods_old_price = price_json[0].get('m') # 以前的价格
except:
goods_now_price = ''
goods_old_price = ''
item_url = 'https://item.jd.com/{}.html'.format(good_id)
res1 = requests.get(item_url, headers=headers)
res_item = etree.HTML(res1.text)
try:
goods_brand = res_item.xpath('//ul[@id="parameter-brand"]/li/@title')[0] # 品牌
except:
goods_brand = ''
list = [goods_brand, good_name, good_id, goods_now_price, goods_old_price,item_url]
print(x, list)
csv_file = open('笔记本电脑.csv', 'a', newline='', encoding='utf-8-sig')
writer = csv.writer(csv_file)
writer.writerow(list)
print('\n')
time.sleep(1)
csv_file.close()
打印结果：
第1页,这页总共30件商品
1 ['华为（HUAWEI）', '荣耀笔记本电脑MagicBook 14 14英寸全面屏轻薄本（AMD锐龙5 16G 512G 多屏协同 指纹Win10）银', '100010816812', '3799.00', '9999.00']
2 ['华为（HUAWEI）', '华为(HUAWEI) MateBook D 14英寸全面屏轻薄笔记本电脑便携超级快充(AMD锐龙5 3500U 16+512GB)银', '100010879626', '4499.00', '6999.00']
3 ['联想（Lenovo）', '联想(Lenovo)小新Air14 2020性能版 英特尔酷睿i5 全面屏独显轻薄笔记本电脑(i5 16G 512G MX350 100%sRGB)银', '100011386554', '5499.00', '5699.00']
4 ['戴尔（DELL）', '戴尔DELL灵越5000 14英寸酷睿i5网课学习轻薄笔记本电脑(十代i5-1035G1 8G 512G MX230 2G独显)银', '100006546527', '4299.00', '5199.00']
5 ['联想（Lenovo）', '联想(Lenovo)IdeaPad14s 2020 英特尔酷睿i3 14英寸网课办公窄边轻薄笔记本电脑(十代i3 8G 512G固态 FHD)银', '100013431578', '3199.00', '3299.00']
6 ['联想（Lenovo）', '联想（Lenovo）威6 2020款 英特尔酷睿 i5 14英寸窄边框轻薄笔记本电脑(i5-1035G1 8G 512G PCIE 2G独显 FHD 全功能Type-C )相思灰', '100010370676', '4399.00', '4599.00']
7 ['联想（Lenovo）', '联想(Lenovo)小新Air14 2020锐龙版 全面屏办公轻薄笔记本电脑(6核R5-4600U 16G 512G 100%sRGB高色域)深空灰', '100007218425', '4499.00', '4699.00']
8 ['联想（Lenovo）', '联想(Lenovo)小新Pro13 2020锐龙版 全面屏办公超轻薄笔记本电脑(6核R5-4600U 16G 512G 高色域)深空灰', '100013291032', '4999.00', '12000.00']
9 ['联想（Lenovo）', '联想(Lenovo)小新Pro13 2020锐龙版 全面屏办公超轻薄笔记本电脑(8核R7-4800U 16G 512G 高色域)深空灰', '100007250507', '5399.00', '12000.00']
10 ['戴尔（DELL）', '戴尔DELL游匣G3 15.6英寸英特尔酷睿i5游戏笔记本电脑(九代i5-9300H 8G 512G GTX1650 72%NTSC)', '100005724680', '5199.00', '8099.00']
11 ['联想（Lenovo）', '联想(Lenovo)小新15 2020英特尔酷睿i5 15.6英寸全面屏独显轻薄笔记本电脑(十代i5 16G 512G MX350高色域 )银', '100011773090', '5599.00', '5699.00']
12 ['联想（Lenovo）', '联想(Lenovo)小新Pro13锐龙版 性能网课办公轻薄笔记本电脑(标压R5-3550H 16G 512G 人脸识别 100%sRGB)银', '100005171461', '4799.00', '5000.00']
13 ['小米（MI）', 'RedmiBook 14 增强版 全金属超轻薄(第十代英特尔酷睿i5-10210U 8G 512G SSD MX250 2G独显 支持手环疾速解锁)游戏 银 手提笔记本电脑小米 红米', '100004508927', '3989.00', '9999.00']
14 ['华为（HUAWEI）', '华为(HUAWEI) MateBook D 15.6英寸全面屏轻薄笔记本电脑便携超级快充(AMD R5 3500U 16G+512GB Office)银', '100013291000', '4299.00', '6999.00']
15 ['得峰（Deffad）', '15.6英寸 超簿本 轻薄本笔记本电脑轻薄 超级本 学生网上课堂', '64488009826', '1437.00', '3999.00']
16 ['联想（Lenovo）', '联想(Lenovo)小新Pro13 2020性能版 英特尔酷睿i5 全面屏独显轻薄笔记本电脑(i5 16G 512G MX350高色域)银', '100006487373', '6299.00', '6499.00']
17 ['华为（HUAWEI）', '荣耀笔记本电脑MagicBook 15 15.6英寸全面屏轻薄本 (锐龙R5 16G 512G 多屏协同 指纹识别 Win10）银', '100006008837', '3899.00', '9999.00']
18 ['联想（Lenovo）', '联想(Lenovo)小新15 2020锐龙版 全面屏办公轻薄笔记本电脑(6核R5-4600U 16G 512G 100%sRGB 高色域)银', '100013023568', '4499.00', '5999.00']
19 ['联想（Lenovo）', '联想(Lenovo)拯救者R7000 15.6英寸游戏笔记本电脑(R5-4600H 16G 512G SSD GTX1650 100%sRGB)幻影黑', '100012885246', '5699.00', '5999.00']
20 ['华硕（ASUS）', '华硕(ASUS) VivoBook15s 英特尔酷睿i5 新版15.6英寸轻薄笔记本电脑(i5-1035G1 8G 512GSSD MX330 2G独显)银', '100007161973', '4499.00', '5399.00']
21 ['ThinkPad', '联想ThinkPad E495（0BCD）14英寸轻薄笔记本电脑（锐龙5-3500U 8G 512GSSD FHD Win10）黑色', '100011213626', '3799.00', '5299.00']
22 ['联想（Lenovo）', '联想(Lenovo)拯救者Y7000 15.6英寸游戏笔记本电脑(i5-10300H 16G 512G SSD GTX1650 100%sRGB)幻影黑', '100007045421', '6499.00', '6799.00']
23 ['惠普（HP）', '惠普(HP)星14 青春版 14英寸轻薄窄边框笔记本电脑(R5-3500U 8G 256GSSD FHD IPS)银', '100010409532', '3499.00', '4099.00']
24 ['华为（HUAWEI）', '华为(HUAWEI)MateBook 13 2020款全面屏轻薄性能笔记本电脑十代酷睿(i5 16G 512G MX250 触控屏 多屏协同)银', '100011177202', '5999.00', '10999.00']
25 ['ThinkPad', '联想ThinkBook 14英特尔酷睿i5 14英寸轻薄笔记本电脑(十代酷睿i5 8G 512G傲腾增强型SSD 2G独显)', '100010370680', '4799.00', '6099.00']
26 ['华为（HUAWEI）', '荣耀MagicBook Pro 16.1英寸全面屏轻薄高性能笔记本电脑（标压锐龙5 16G 512G 100%sRGB Win10）银', '100004563443', '4299.00', '9999.00']
27 ['华硕（ASUS）', '华硕(ASUS) 天选 15.6英寸游戏笔记本电脑(新锐龙 7nm 8核 R7-4800H 8G 512GSSD RTX2060 6G 144Hz)钛空灰', '100006460635', '7199.00', '7799.00']
28 ['华为（HUAWEI）', '华为HUAWEI MateBook 14 2020款全面屏轻薄笔记本电脑十代酷睿(i5 16G 512G MX350 触控屏 多屏协同)灰', '100012950506', '6399.00', '10999.00']
29 ['华硕（ASUS）', '华硕（ASUS）破晓7 2020款 英特尔酷睿15.6英寸商务轻薄本笔记本电脑i5预装Office 银灰色 英特尔酷睿i5 16G 1T+256固态 2G独显', '28206239565', '4599.00', '6999.00']
30 ['华为（HUAWEI）', '华为HUAWEI MateBook 14 2020款全面屏轻薄性能笔记本电脑十代酷睿(i7 16G 512G MX350 触控屏 多屏协同)银', '100012950554', '7399.00', '10999.00']
第2页,这页总共30件商品
1 ['华为（HUAWEI）', '荣耀MagicBook Pro 16.1英寸全面屏轻薄高性能笔记本电脑（标压锐龙5 16G 512G 100%sRGB Win10）银', '100004563443', '4299.00', '9999.00']
2 ['华硕（ASUS）', '华硕(ASUS) 天选 15.6英寸游戏笔记本电脑(新锐龙 7nm 8核 R7-4800H 8G 512GSSD RTX2060 6G 144Hz)钛空灰', '100006460635', '7199.00', '7799.00']
3 ['华为（HUAWEI）', '华为HUAWEI MateBook 14 2020款全面屏轻薄笔记本电脑十代酷睿(i5 16G 512G MX350 触控屏 多屏协同)灰', '100012950506', '6399.00', '10999.00']
4 ['华硕（ASUS）', '华硕（ASUS）破晓7 2020款 英特尔酷睿15.6英寸商务轻薄本笔记本电脑i5预装Office 银灰色 英特尔酷睿i5 16G 1T+256固态 2G独显', '28206239565', '4599.00', '6999.00']
5 ['华为（HUAWEI）', '华为HUAWEI MateBook 14 2020款全面屏轻薄性能笔记本电脑十代酷睿(i7 16G 512G MX350 触控屏 多屏协同)银', '100012950554', '7399.00', '10999.00']
6 ['华为（HUAWEI）', '华为(HUAWEI)MateBook D 14全面屏轻薄笔记本电脑多屏协同便携超级快充(i5-10210U 16G+512G 独显)银', '100006051933', '5499.00', '6999.00']
7 ['联想（Lenovo）', '联想（Lenovo）IdeaPad14s 2020款 十代英特尔酷睿 14英寸 高性能轻薄笔记本电脑银色 i3-1005G1/8G/512G鼠标套装', '70073013324', '3266.00', '4798.00']
8 ['宏碁（acer）', '宏碁(Acer)墨舞EX215 15.6英寸轻薄大屏笔记本(四核N4120 4G 128GSSD 蓝光护盾 网课 办公 Win10)', '100012696986', '2199.00', '2799.00']
9 ['华硕（ASUS）', '华硕顽石(ASUS) E406MA 14英寸窄边超轻薄笔记本电脑(Intel四核 4G 128G EMMC HDMI 1.3Kg FHD)星空灰', '100003315277', '2699.00', '3799.00']
10 ['Apple', 'Apple 2020新款 MacBook Air 13.3 Retina屏 十代i3 8G 256G SSD 银色笔记本电脑轻薄本 MWTK2CH/A', '100006589419', '7999.00', '14999.00']
11 ['惠普（HP）', '惠普(HP)暗影精灵5 15.6英寸 游戏笔记本电脑(i5-9300H 8G 512GSSD GTX1650 4G独显 72%高色域)', '100005603836', '5999.00', '6799.00']
12 ['小米（MI）', 'RedmiBook 16 锐龙版 超轻薄全面屏(6核R5-4500U 16G 512G 100% sRGB高色域)灰 手提笔记本电脑小米 红米', '100013171136', '3789.00', '99999.00']
13 ['ThinkPad', '联想ThinkPad X395（0YCD）13.3英寸轻薄笔记本电脑（锐龙7 PRO 3700U 8G 512GSSD FHD 指纹识别 高色域）', '100007317132', '5099.00', '6499.00']
14 ['惠普（HP）', '惠普(HP)星14 青春版 14英寸轻薄窄边框笔记本电脑(R5-3500U 16G 512GSSD FHD IPS)银', '100006302835', '3999.00', '4499.00']
15 ['联想（Lenovo）', '联想(Lenovo)小新15 2020英特尔酷睿i7 15.6英寸全面屏独显轻薄笔记本电脑(十代i7 16G 512G MX350高色域 )银', '100011773074', '6499.00', '6499.00']
16 ['华为（HUAWEI）', '荣耀MagicBook 14 14英寸全面屏轻薄笔记本电脑（十代英特尔酷睿i5 16G 512G MX250 指纹 Win10）冰河银', '100010816672', '5399.00', '6599.00']
17 ['华为（HUAWEI）', '华为HUAWEI MateBook 14 2020款全面屏轻薄性能笔记本电脑十代酷睿(i7 16G 512G MX350 触控屏 多屏协同)灰', '100007078171', '7399.00', '10999.00']
18 ['ThinkPad', '联想ThinkPad E14 锐龙版（1TCD）14英寸轻薄笔记本电脑（锐龙5-4500U 16G 512GSSD IPS高分屏）黑色', '100007233381', '4299.00', '5699.00']
19 ['华硕（ASUS）', '华硕（ASUS）VivoBook14 十代酷睿 2020新品14英寸轻薄本笔记本电脑预装office i5-10210U 8G 512G固态 独显 黑', '69199960590', '4499.00', '6499.00']
20 ['Apple', 'Apple MacBook Air 13.3 | Core i5 8G 128G SSD笔记本电脑轻薄本 银色 MQD32CH/A', '5225346', '5699.00', '9888.00']
21 ['戴尔（DELL）', '戴尔DELL灵越5000fit 14英寸英特尔酷睿i5轻薄窄边框笔记本电脑(十代i5-10210U 8G 512G MX250 2G 2年整机)银', '100007539330', '5599.00', '6699.00']
22 ['宏碁（acer）', '宏碁(Acer)蜂鸟Fun 2020新款 14英寸 高性能轻薄宏基笔记本电脑(十代酷睿 8G 512GSSD MX350独显 长续航)银', '100012481694', '3999.00', '4699.00']
23 ['小米（MI）', '小米 (MI)Ruby 15.6英寸 网课 学习轻薄笔记本电脑(英特尔酷睿i5-8250U 8G 512G SSD 2G GDDR5独显 FHD 全键盘 Office Win10) 深空灰', '100004364088', '3889.00', '4999.00']
24 ['华为（HUAWEI）', '荣耀MagicBook Pro Win10 16.1英寸全面屏轻薄性能笔记本电脑（标压锐龙7 16G 512G 100%sRGB）冰河银', '100011256976', '4599.00', '99999.00']
25 ['ThinkPad', '联想ThinkPad 翼490(E490 2QCD)英特尔酷睿i3 14英寸轻薄笔记本电脑(i3-8145U 8G 256GSSD FHD)银色', '100012675410', '3299.00', '4599.00']
26 ['惠普（HP）', '惠普（HP）战66 三代 AMD版14英寸轻薄笔记本电脑（锐龙7nm 六核R5-4500U 8G 512G 400尼特高色域一年上门 ）', '100012583158', '4299.00', '4599.00']
27 ['惠普（HP）', '惠普（HP）战66 三代 14英寸轻薄笔记本电脑（i5-10210U 8G 512G PCIe MX250 2G 一年上门+意外 3年保修）', '100005217597', '5199.00', '6099.00']
28 ['华为（HUAWEI）', '华为(HUAWEI) MateBook D 14英寸全面屏轻薄笔记本电脑便携超级快充(AMD锐龙5 3500U 16+512GB)灰', '100010879608', '4499.00', '6999.00']
29 ['华为（HUAWEI）', '荣耀笔记本电脑MagicBook Pro 16.1英寸全面屏轻薄性能本（酷睿i5 16G 512G MX250 100%sRGB Win10 ）冰河银', '100007818806', '6099.00', '9999.00']
30 ['华为（HUAWEI）', '荣耀笔记本电脑MagicBook 15 15.6英寸全面屏轻薄本（锐龙R7 8G 512G 指纹 Win10）冰河银', '100005928469', '4199.00', '9999.00']
后面的省略......
这里还有一个用selenium去爬取京东网页的项目例子：
抓取京东商品列表页面信息
这个的缺点就是速度慢，但也是一个抓取动态页面的方法。
本文地址：https://blog.csdn.net/weixin_48615832/article/details/107174331