欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  IT编程

Python实现推送百度链接的示例代码

程序员文章站 2022-03-10 13:08:48
通过代码实现抓取个人博客中某一页指定文章链接,并批量将该链接推送到百度站长平台,起到快速收录的目的。 import sysimport requestsfrom bs4 import beautifu...

通过代码实现抓取个人博客中某一页指定文章链接,并批量将该链接推送到百度站长平台,起到快速收录的目的。 

import sys
import requests
from bs4 import beautifulsoup

# 推送百度爬虫
def push_page(url):
    headers = {
        'user-agent': 'curl/7.12.1',
        'host': 'data.zz.baidu.com',
        'content-type': 'text/plain',
        'content-length': '83'
    }
    urls = "http://data.zz.baidu.com/urls?site=https://www.lyshark.com&token=xxxxxxx"
    try:
        html = requests.post(urls, headers=headers, data=url, timeout=5).text
        push_status = eval(html)['success']
        if push_status == 1:
            return 1
        else:
            return 0
    except:
        return 0

# 获取路径
def get_page(page):
    html = requests.get(page,timeout=5).text
    try:
        bs = beautifulsoup(html,"html.parser")
        ret = bs.select('div[class="container"] div[class="row"] h2[class="post-title"] a')
        for item in ret:
            push_url = item.get('href')
            push_ref = push_page(push_url)
            print("推送: {} --> 状态: {}".format(push_url,push_ref))
        return 1
    except:
        return 0

if __name__ == "__main__":
    arg = sys.argv
    get_page(arg[1])

补充

百度目前提供自动提交链接和手动提交链接两种方式,其中自动提交又分为主动推送、自动推送和sitemap三种形式,按百度的说法,主动推送的效果最好,百度站长平台后台也提供了curl、php、ruby的推送示例代码但没有提供python代码,网上很少有现成的python版本主动推送代码(仅有的也有点小问题,需要修改一下),现将目前我正在使用的主动推送python代码贴出。

#encoding:utf-8

import httplib

def tuisong():

    filecontents = open( "urls.txt", "r" ).read()                 //urls.txt为需要推送的url文件,每行一个

    url = "/urls?site=域名(不带http)&token=令牌(在自己的百度站长平台后台可以看到)"

    conn = httplib.httpconnection('data.zz.baidu.com')

    conn.request(method="post", url=url, body=filecontents)

    response = conn.getresponse()

    baiduresult = response.read()

    conn.close()

    return baiduresult

 

if __name__=="__main__":

    ts=tuisong()

    print ts

推送后会返回相关的代码!

下面是我用的requests实现的,更简洁:

import requests

def tuisong(self):       
        url = "/urls?site=域名(不带http)&token=令牌(在自己的百度站长平台后台可以看到)"        
        filecontents = {'file': open('urls.txt', 'rb')}  #urls.txt为需要推送的url文件,每行一个        
        r=requests.post("http://data.zz.baidu.com"+url, files=filecontents)
        baiduresult ="推送成功,结果为%s \n" %(r.text)       
        return baiduresult
        
if __name__=="__main__":

    ts=tuisong()

    print(ts)

百度链接推送规则见传送

到此这篇关于python实现推送百度链接的示例代码的文章就介绍到这了,更多相关python推送百度链接内容请搜索以前的文章或继续浏览下面的相关文章希望大家以后多多支持!