欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

爬取实习僧网站并存储到MongoDB

程序员文章站 2022-07-14 10:56:49
...

爬取实习僧网站并存储到MongoDB,菜鸟之作


爬取思路:

  • 分析网页结构:我们在搜索栏中输入python(其他都可以),我们会发现
    爬取实习僧网站并存储到MongoDB
    每个页面有10个工作岗位。

  • 右键选择查看网页源代码,找到相应的job列表位置,但是结果是崩溃的,爬取实习僧网站并存储到MongoDB,这是什么鬼东西,即使能爬下来,但是我们看不懂,于是我换了一种思路。

  • 直接找到每一个job的页面,比如爬取实习僧网站并存储到MongoDB,这里就要用到正则表达式(我的最爱)正则不会的点这里,然后我们就可以进入每个job页面,然后我们同样检查网页源代码,我们会发现热有些重要的信息他做了些手脚爬取实习僧网站并存储到MongoDB,但是我们还是可以爬一些的爬取实习僧网站并存储到MongoDB,所以根据以上,我们可以写出相应的正则。
  • 思路其实很简单,下面就是我的代码
import requests
import re
import pymongo

headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.78 Safari/537.36'}
MongoUrl= 'localhost'
MongoDB = 'Shixiceng'
MongoTable = 'shixiceng'

def Gethtml(url):

    try:
        html = requests.get(url,headers=headers)
        if html.status_code == 200:
            return html.text
    except Exception as e:
        print(e,"1")
def parse_html(html):
    job_url = []
    pattern = r'<div class="names cutom_font"><a href="(.*?)" target="_blank">.*?</a>'
    result = re.findall(pattern,html,re.S)
    Url = "http://www.shixiseng.com"
    for i in result:
        parse_url = Url + i
        job_url.append(parse_url)
    return job_url

def Get_jobInfo(url):
    try:
        html = requests.get(url, headers=headers)
        if html.status_code == 200:
            reg = r'<div class="new_job_name" title=".*?">(.*?)</div>'
            job_name = re.findall(reg, html.text)[0]
            reg = r'<span title=".*?" class="job_position">(.*?)</span>'
            job_city = re.findall(reg, html.text)[0]
            reg = r'<div class="job_detail">(.*?)</div>'
            job_limit = re.findall(reg,html.text)[0]
            return {
                'job_name' : job_name,
                'job_city' : job_city,
                'job_limit' : job_limit
            }
    except Exception as e:
        print(e,"2")
def Save_Mongo(result):
    client = pymongo.MongoClient(MongoUrl,connect=False)
    db = client[MongoDB]
    if db[MongoTable].insert(result):
        print("数据存储成功")



def main():
    for page in range(1,20):
        try:
            url = 'http://www.shixiseng.com/interns?k=Python&t=zj&p={}'.format(page)
            html = Gethtml(url)
            job_url = parse_html(html)
            for i in job_url:
                Result = Get_jobInfo(i)
                Save_Mongo(Result)
        except Exception as e:
            print(e,"3")

if __name__ == '__main__':
    main()

-爬取速度很快,存储的也很快,下面就是我爬取的一些结果爬取实习僧网站并存储到MongoDB

最后,由于时间不加紧促,还有一些功能没有写进去,希望你们原谅,另外知道有哪位大神如何解决页面的字符问题的可以给我留言,谢谢。