欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  IT编程

python获取慧聪企业信息(联系方式)

程序员文章站 2023-01-25 14:50:35
要获取的内容如图:'''使用python获取慧聪企业联系方式作者:菜鸟虫师Mac时间:2020.7.24'''import requestsimport jsonfrom lxml import etreeTARGET = 'https://s.hc360.com/company/search.html?'HEADERS = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:78.0) Gecko/2...

要获取的内容如图:
python获取慧聪企业信息(联系方式)

'''
使用python获取慧聪企业联系方式
作者:菜鸟虫师Mac
时间:2020.7.24
'''
import requests
import json
from lxml import etree

TARGET = 'https://s.hc360.com/company/search.html?'

HEADERS = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:78.0) Gecko/20100101 Firefox/78.0',

}
# 要post的参数
DATA = {
    'kwd': None,
    'pnum': None,
}


# 向首页发起请求,获取企业信息页面的url
def get_index_url():
    # 首页的请求方式是post
    res = requests.post(url=TARGET, headers=HEADERS, params=DATA)
    html = etree.HTML(res.content.decode())
    # 获取企业信息的url(如图1)
    get_contacts_urls = list(html.xpath('//a[@class="tel"]/@href'))
    # 要在每个href前面加上'https:'才能成为一个真正的url,进行下一步的访问
    get_contacts_urls = map(lambda x: 'https:' + x, get_contacts_urls)
    return (list(get_contacts_urls))


# 向企业信息页面的url发起请求,获取企业信息
def get_cpns_infos(url):
    res = requests.get(url=url, headers=HEADERS)
    html = etree.HTML(res.text)
    # 企业的联系信息都在这个<div>下的<li>内
    # cpns_infos = html.xpath('//div[@class="ContacCon3"]//ul/li')
    cpns_infos = html.xpath('//div[@class="ContacCon3"]//ul')
    # 字典:存放企业联系信息
    cpns_datas = {}
    for cpns_info in cpns_infos:
        cpns_datas['公司名称'] = cpns_info.xpath('//div[@class="cConpanyName"]/text()')[0]
        # 联系人姓名
        contacts = cpns_info.xpath('//div[@class="con3Rig"]/span/a/text()')[0]
        # 职位
        position = cpns_info.xpath('//div[@class="con3Rig"]/span/text()')[0]
        # 联系人姓名+职位(去掉\xa0\xa0)
        cpns_datas['联系人'] = "".join((contacts + position).split())
        # QQ
        QQ = cpns_info.xpath('//a[@class="contactQQ"]/text()')
        # 有QQ,则去掉本身的QQ:以及括号
        if QQ:
            qq = QQ[0].strip("( QQ:)")
            cpns_datas['QQ'] = qq
        # 没有QQ,则显示'没有QQ'
        else:
            cpns_datas['QQ'] = '没有QQ'
        cpns_datas['公司电话'] = cpns_info.xpath('//div[@node-name="telephone"]/text()')
        cpns_datas['手机号码'] = cpns_info.xpath('//div[@node-name="mp"]/text()')
        cpns_datas['其他电话'] = cpns_info.xpath('//div[@node-name="otherTelephone"]/text()')
        cpns_datas['官网'] = cpns_info.xpath(
            '//div[@class="con3Rig"]/a[contains(@onmousedown,"contact_detail_homepage")]/text()')[0].strip(
            "\r\n\t\t").replace(" ", "")
        # 地址(在最后一个<li>的div内)
        cpns_datas['地址'] = cpns_info.xpath('//li[last()]/div[@class="con3Rig"]/text()')[0]
    # 转化为json格式,以便保存
    cpns_datas_json = json.dumps(cpns_datas, ensure_ascii=False)
    # 将信息保存到JSON文件中
    save_infos(cpns_datas_json)


# 保存信息
def save_infos(data):
    with open('HuiCong.json', 'a') as f:
        f.write(data)
        print("OK!")


# 逻辑函数
def main():
    # 要获取的城市
    DATA['kwd'] = '广州'
    # 前N页的内容
    for i in range(3):
        DATA['pnum'] = (i + 1)
        urls = get_index_url()
        for url in urls:
            get_cpns_infos(url)


if __name__ == '__main__':
    main()

图1如下:
python获取慧聪企业信息(联系方式)获取到的如下:
python获取慧聪企业信息(联系方式)

本文地址:https://blog.csdn.net/Mac1392415/article/details/107551616