关于快讯采集，仅提取频道列表中新增项

程序员文章站 2022-04-08 08:45:23

...

关于新闻采集，仅提取频道列表中新增项
做新闻采集程序，以腾讯的某频道为例“http://tech.qq.com/hlwxw.htm” 。每30分钟上来扫描看看有没有新增新闻，可能上面频道的列表增加了两条，其他23条都是已经抓完的了（一共25条的列表），仅把这两条能出来放进数据库，请问应该怎样做？？

------解决方案--------------------
每抓一条新闻，都把那条新闻的id存储在你的表里。比如

exists_id
----------
1231
1232
1233
...

采集的时候，先判断下这条新闻的id是否在你那个表里存在。。。
然后就不用说了

声明：本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系admin@php.cn核实处理。

专题推荐