Python实现推送百度链接的示例代码
程序员文章站
2022-03-10 13:08:48
通过代码实现抓取个人博客中某一页指定文章链接,并批量将该链接推送到百度站长平台,起到快速收录的目的。 import sysimport requestsfrom bs4 import beautifu...
通过代码实现抓取个人博客中某一页指定文章链接,并批量将该链接推送到百度站长平台,起到快速收录的目的。
import sys import requests from bs4 import beautifulsoup # 推送百度爬虫 def push_page(url): headers = { 'user-agent': 'curl/7.12.1', 'host': 'data.zz.baidu.com', 'content-type': 'text/plain', 'content-length': '83' } urls = "http://data.zz.baidu.com/urls?site=https://www.lyshark.com&token=xxxxxxx" try: html = requests.post(urls, headers=headers, data=url, timeout=5).text push_status = eval(html)['success'] if push_status == 1: return 1 else: return 0 except: return 0 # 获取路径 def get_page(page): html = requests.get(page,timeout=5).text try: bs = beautifulsoup(html,"html.parser") ret = bs.select('div[class="container"] div[class="row"] h2[class="post-title"] a') for item in ret: push_url = item.get('href') push_ref = push_page(push_url) print("推送: {} --> 状态: {}".format(push_url,push_ref)) return 1 except: return 0 if __name__ == "__main__": arg = sys.argv get_page(arg[1])
补充
百度目前提供自动提交链接和手动提交链接两种方式,其中自动提交又分为主动推送、自动推送和sitemap三种形式,按百度的说法,主动推送的效果最好,百度站长平台后台也提供了curl、php、ruby的推送示例代码但没有提供python代码,网上很少有现成的python版本主动推送代码(仅有的也有点小问题,需要修改一下),现将目前我正在使用的主动推送python代码贴出。
#encoding:utf-8 import httplib def tuisong(): filecontents = open( "urls.txt", "r" ).read() //urls.txt为需要推送的url文件,每行一个 url = "/urls?site=域名(不带http)&token=令牌(在自己的百度站长平台后台可以看到)" conn = httplib.httpconnection('data.zz.baidu.com') conn.request(method="post", url=url, body=filecontents) response = conn.getresponse() baiduresult = response.read() conn.close() return baiduresult if __name__=="__main__": ts=tuisong() print ts
推送后会返回相关的代码!
下面是我用的requests实现的,更简洁:
import requests def tuisong(self): url = "/urls?site=域名(不带http)&token=令牌(在自己的百度站长平台后台可以看到)" filecontents = {'file': open('urls.txt', 'rb')} #urls.txt为需要推送的url文件,每行一个 r=requests.post("http://data.zz.baidu.com"+url, files=filecontents) baiduresult ="推送成功,结果为%s \n" %(r.text) return baiduresult if __name__=="__main__": ts=tuisong() print(ts)
百度链接推送规则见传送
到此这篇关于python实现推送百度链接的示例代码的文章就介绍到这了,更多相关python推送百度链接内容请搜索以前的文章或继续浏览下面的相关文章希望大家以后多多支持!