欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  IT编程

Python爬取网页信息的示例

程序员文章站 2022-06-25 11:53:57
python爬取网页信息的步骤以爬取英文名字网站()中每个名字的评论内容,包括英文名,用户名,评论的时间和评论的内容为例。1、确认网址在浏览器中输入初始网址,逐层查找链接,直到找到需要获取的内容。在打...

python爬取网页信息的步骤

以爬取英文名字网站()中每个名字的评论内容,包括英文名,用户名,评论的时间和评论的内容为例。

1、确认网址

在浏览器中输入初始网址,逐层查找链接,直到找到需要获取的内容。

在打开的界面中,点击鼠标右键,在弹出的对话框中,选择“检查”,则在界面会显示该网页的源代码,在具体内容处点击查找,可以定位到需要查找的内容的源码。

注意:代码显示的方式与浏览器有关,有些浏览器不支持显示源代码功能(360浏览器,谷歌浏览器,火狐浏览器等是支持显示源代码功能)

步骤图:

1)首页,获取a~z的页面链接

Python爬取网页信息的示例

Python爬取网页信息的示例

2)名字链接页,获取每个字母中的名字链接(存在翻页情况)

Python爬取网页信息的示例

3)名字内容页,获取每个名字的评论信息

Python爬取网页信息的示例

2、编写测试代码

1)获取a~z链接,在爬取网页信息时,为了减少网页的响应时间,可以根据已知的信息,自动生成对应的链接,这里采取自动生成a~z之间的连接,以pandas的二维数组形式存储

def get_url1():
 urls=[]
 # a,'b','c','d','e','f','g','h','i','j','k','l','m','n','o','p','q','r','s','t','u','v','w','x','y','z'
 a=['a','b','c','d','e','f','g','h','i','j','k','l','m','n','o','p','q','r','s','t','u','v','w','x','y','z']    #自动生成a~z的链接
 for i in a:
  urls.append("https://nameberry.com/search/baby_names_starting_with/%s" %i)
 dp=pd.dataframe(urls)
 dp.to_csv("a~z_link1.csv",mode="a",encoding='utf_8_sig')    #循环用于在每个字母链接下,调用爬取名字链接的页面的函数,即函数嵌套
 for j in urls:
  get_pages_html(j)
 return urls

2)获取名字链接,根据网页源码分析出包含名字链接的标签,编写代码,名字链接用直接存储的方式存储,方便读取名字链接进行对名字的评论内容的获取

#获取页数
def get_pages_html(url1):
 req = requests.get(url1)
 soup=beautifulsoup(req.text)
#异常处理,为解决页面不存在多页的问题,使用re正则表达式获取页面数
 try:
  lastpage = soup.find(class_="last").find("a")['href']
  str1='{}'.format(lastpage)
  b=re.findall('\\d+', str1 )
  for page in b:
   num=page
 except:
  num=1
 get_pages(num,url1)
 return num

def get_pages(n,url):
 pages=[]
 for k in range(1,int(n)+1):
  pages.append("{}?page={}".format(url,k))
 dp=pd.dataframe(pages)
 dp.to_csv("num_pages_1.csv",mode="a",encoding='utf_8_sig')
  #函数调用
 for l in pages:
  parse_html2(l)
 return pages


# 名字的链接,根据网页源码的标签,确定名字链接的位置
def parse_html2(url2):
 try:
  req = requests.get(url2)
  req.encoding = req.apparent_encoding
  soup = beautifulsoup(req.text)
 except:
  dp=pd.dataframe(url2)
  dp.to_csv("error_pages_1.csv",mode="a",encoding='utf_8_sig')
 name_data_l=[]
 error=[]
 li_list = soup.find_all('li',class_="listing-name pt-15 pb-15 bdb-gray-light w-100pct flex border-highlight")
 try:
  for li in li_list:
   namelist=li.find('a',class_='flex-1')['href']
   name_data_l.append('https://nameberry.com/'+namelist)
   time.sleep(1)
  cun(name_data_l,'name_list_1')
 except:
  dp=pd.dataframe(name_data_l)
  dp.to_csv("error_name_list_1.csv",mode="a",encoding='utf_8_sig')
  # cun(url2,'error_link_q')
 # dp=pd.dataframe(name_data_l)
 # dp.to_csv("name_list.csv",mode="a",encoding='utf_8_sig')
 # for i in name_data_l:
 #  parse_html3(i)
 return name_data_l

3)获取名字评论的内容,采用字典形式写入文件

# 名字里的内容
def parse_html3(url3):
 count=0
 req = requests.get(url3)
 req.encoding = req.apparent_encoding
 soup = beautifulsoup(req.text)
 error=[]
 try:
  name=soup.find('h1',class_='first-header').find("a").get_text().replace(",","").replace("\n","")
 except:
  error.append(url3)
  cun(error,"error_link_comment")
 li_list = soup.find_all('div',class_="comment")
 for li in li_list:
  title=li.find("h4").get_text().replace(",","").replace("\n","")
  time=li.find("p",class_='meta').get_text().replace(",","").replace("\n","")
  comments=li.find("div",class_='comment-text').get_text().replace(",","").replace("\n","")
  dic2={
   "name":name,
   "title":title,
   "time":time,
   "comments":comments
  }
  time.sleep(1)
  count=count+1
  save_to_csv(dic2,"name_data_comment")
  print(count)
 return 1

3、测试代码

1)代码编写完成后,具体的函数调用逻辑,获取链接时,为直接的函数嵌套,获取内容时,为从文件中读取出名字链接,在获取名字的评论内容。避免因为逐层访问,造成访问网页超时,出现异常。

如图:

Python爬取网页信息的示例

2)测试结果

Python爬取网页信息的示例

 4、小结

在爬取网页内容时,要先分析网页源码,再进行编码和调试,遵从爬虫协议(严重者会被封号),在爬取的数据量非常大时,可以设置顺序部分请求(一部分的进行爬取网页内容)。

总之,爬虫有风险,测试需谨慎!!!

以上就是python爬取网页信息的示例的详细内容,更多关于python爬取网页信息的资料请关注其它相关文章!