Python抓取电影天堂电影信息的代码
程序员文章站
2022-06-09 21:56:01
...
Python2.7Mac OS
抓取的是电影天堂里面最新电影的页面。链接地址: http://www.dytt8.net/html/gndy/dyzz/index.html
获取页面的中电影详情页链接
import urllib2 import os import re import string # 电影URL集合 movieUrls = [] # 获取电影列表 def queryMovieList(): url = 'http://www.dytt8.net/html/gndy/dyzz/index.html' conent = urllib2.urlopen(url) conent = conent.read() conent = conent.decode('gb2312','ignore').encode('utf-8','ignore') pattern = re.compile (''+ '(.*?).*?>
',re.S) items = re.findall(pattern,conent) str = ''.join(items) pattern = re.compile ('(.*?).*? (.*?) ',re.S) news = re.findall(pattern, str) for j in news: movieUrls.append('http://www.dytt8.net'+j[0])
抓取详情页中的电影数据
def queryMovieInfo(movieUrls): for index, item in enumerate(movieUrls): print('电影URL: ' + item) conent = urllib2.urlopen(item) conent = conent.read() conent = conent.decode('gb2312','ignore').encode('utf-8','ignore') movieName = re.findall(r'', conent, re.S) if (len(movieName) > 0): movieName = movieName[0] + "" # 截取名称 movieName = movieName[movieName.find("《") + 3:movieName.find("》")] else: movieName = "" print("电影名称: " + movieName.strip()) movieContent = re.findall(r'(.*?)
(.*?)',conent , re.S) pattern = re.compile('(.*?)
', re.S) movieDate = re.findall(pattern,movieContent[0]) if (len(movieDate) > 0): movieDate = movieDate[0].strip() + '' else: movieDate = "" print("电影发布时间: " + movieDate[-10:]) pattern = re.compile('
(.*?)
0): movieInfo = movieInfo[0]+'' # 删除
标签 movieInfo = movieInfo.replace("
","") # 根据 ◎ 符号拆分 movieInfo = movieInfo.split('◎') else: movieInfo = "" print("电影基础信息: ") for item in movieInfo: print(item) # 电影海报 pattern = re.compile('', re.S) movieImg = re.findall(pattern,movieContent[0]) if (len(movieImg) > 0): movieImg = movieImg[0] else: movieImg = "" print("电影海报: " + movieImg) pattern = re.compile(' .*? ', re.S) movieDownUrl = re.findall(pattern,movieContent[0]) if (len(movieDownUrl) > 0): movieDownUrl = movieDownUrl[0] else: movieDownUrl = "" print("电影下载地址:" + movieDownUrl + "") print("------------------------------------------------\n\n\n")执行抓取
if __name__=='__main__': print("开始抓取电影数据"); queryMovieList() print(len(movieUrls)) queryMovieInfo(movieUrls) print("结束抓取电影数据")总结
学好正则表达式很重要,很重要,很重要!!!! Python的语法好有感觉, 对比Java …
声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn核实处理。
相关文章
相关视频
- 一文了解Python中如何使用query()进行优...
- python fabric实现远程操作和部署示例
- 简单谈谈Python中的闭包
- 在Python中关于中文编码问题的处理建议
- Python抓取电影天堂电影信息的代码
专题推荐
- 独孤九贱-php全栈开发教程
全栈 170W+
主讲:Peter-Zhu 轻松幽默、简短易学,非常适合PHP学习入门
- 玉女心经-web前端开发教程
入门 80W+
主讲:灭绝师太 由浅入深、明快简洁,非常适合前端学习入门
- 天龙八部-实战开发教程
实战 120W+
主讲:西门大官人 思路清晰、严谨规范,适合有一定web编程基础学习
推荐阅读
网友评论
文明上网理性发言,请遵守 新闻评论服务协议
我要评论