python scrapy爬取HBS 汉堡南美航运公司柜号信息

下面分享个scrapy的例子

利用scrapy爬取hbs 船公司柜号信息

1、前期准备

查询提单号下的柜号有哪些，主要是在下面的网站上，输入提单号，然后点击查询

https://www.hamburgsud-line.com/liner/en/liner_services/ecommerce/track_trace/index.html

 通过浏览器的network，我们可以看到，请求的是如下的网址

 请求的参数如下，可以看到其中一些参数是固定的，一些是变化的（下图红框中的数据），而这些变化的参数大部分是在页面上，我们可以先请求一下这个页面，获取其中提交的参数，然后再提交

2编写爬虫

 2.1首先，我们请求一下这个页面，然后获取其中的一些变化的参数，把获取到的参数组合起来

# -*- coding: utf-8 -*-
import scrapy
from scrapy.http import request, formrequest

class hbsspider(scrapy.spider):
    name = "hbs"
    allowed_domains = ["www.hamburgsud-line.com"]

def start_requests(self):
        yield request(self.post_url, callback=self.post)

def post(self, response):
        sel = response.css('input')
        keys = sel.xpath('./@name').extract()
        values = sel.xpath('./@value').extract()
        inputdata = dict(zip(keys, values))

2.2 再次请求数据

1、把固定不变的参数和页面获取到的参数一起提交

2、再把header伪装一下

    post_url = 'https://www.hamburgsud-line.com/linerportal/pages/hsdg/tnt.xhtml'
def post(self, response):
        sel = response.css('input')
        keys = sel.xpath('./@name').extract()
        values = sel.xpath('./@value').extract()
        inputdata = dict(zip(keys, values))
        # 提交页面的解析函数，构造formrequest对象提交表单

       
        fd = {'javax.faces.partial.ajax': 'true',
                  'javax.faces.source': 'j_idt6:searchform:j_idt8:search-submit',
                  'javax.faces.partial.execute': 'j_idt6:searchform',
                  'javax.faces.partial.render': 'j_idt6:searchform',
                  'j_idt6:searchform:j_idt8:search-submit': 'j_idt6:searchform:j_idt8:search-submit',
                  # 'j_idt6:searchform': 'j_idt6:searchform',
                  'j_idt6:searchform:j_idt8:inputreferences': self.blno,
                  # 'j_idt6:searchform:j_idt8:inputdatefrom_input': '04-jan-2019',
                  # 'j_idt6:searchform:j_idt8:inputdateto_input': '16-mar-2019',
                  # 'javax.faces.viewstate': '-2735644008488912659:3520516384583764336'
                  }       

        fd.update(inputdata)

        headers = {
            ':authority': 'www.hamburgsud-line.com',
            ':method': 'post',
            ':path': '/linerportal/pages/hsdg/tnt.xhtml',
            ':scheme':'https',
            # 'accept': 'application/xml,text/xml,*/*;q=0.01',
            # 'accept-language':'zh-cn,zh;q=0.8',
            'content-type':'application/x-www-form-urlencoded; charset=utf-8',
            'faces-request': 'partial/ajax',
            'origin':'https://www.hamburgsud-line.com',
            'referer':'https://www.hamburgsud-line.com/linerportal/pages/hsdg/tnt.xhtml',
            'user-agent':'mozilla/5.0 (windows nt 6.1; wow64) applewebkit/537.36 (khtml, like gecko) chrome/55.0.2883.87 safari/537.36',
            'x-requested-with':'xmlhttprequest'
        }

        yield formrequest.from_response(response, formdata=fd,callback=self.parse_post,headers=headers)

 

3、解析数据

3.1我们可以看到返回的数据是在xml的cdata下，第一步，我们从中先把这个form获取出来，

 

 

    def parse_post(self, response):
        # 提交成功后，继续爬取start_urls 中的页面
        text = response.text;
        xml_data = minidom.parsestring(text).getelementsbytagname('update')
        if len(xml_data) > 0:
            # form = xml_data[0].textcontent
            form = xml_data[0].firstchild.wholetext

 

 3.2我们定位到柜的元素里面，因为经常一个提单下会有很多柜，如果直接用网站自动生成的id号去查找，后面用其他的提单号去爬取的时候，解析可能就有问题了

所以我们不用id去定位，改为其他方式

 

selector = selector(text=form)
            trs = selector.css("table[role=grid] tbody tr")
            for i in range(len(trs)):
                print(trs[i])
                td = trs[i].css("td:nth-child(2)>a::text")
                yield  {
                    'containerno' : td.extract()
                }

4、运行

>scrapy crawl hbs -o hbs.json

可以看到，爬取到的数据如下

ps:记得把设置里面的robot协议改成false，否则可能失败

robotstxt_obey = false

5.代码

# -*- coding: utf-8 -*-
import scrapy
from scrapy.http import request, formrequest
from xml.dom import minidom
from scrapy.selector import selector

class hbsspider(scrapy.spider):
    name = "hbs"
    allowed_domains = ["www.hamburgsud-line.com"]
    #start_urls = ['https://www.hamburgsud-line.com/linerportal/pages/hsdg/tnt.xhtml']

    def __init__(self, blno='sudu48akl0271001', *args, **kwargs):
        self.blno = blno

    # ----------------------------提交---------------------------------
    # 提交页面的url
    post_url = 'https://www.hamburgsud-line.com/linerportal/pages/hsdg/tnt.xhtml'

    def start_requests(self):
        yield request(self.post_url, callback=self.post)


    def post(self, response):
        sel = response.css('input')
        keys = sel.xpath('./@name').extract()
        values = sel.xpath('./@value').extract()
        inputdata = dict(zip(keys, values))
        # 提交页面的解析函数，构造formrequest对象提交表单

        if "j_idt6:searchform" in inputdata:
            fd = {'javax.faces.partial.ajax': 'true',
                  'javax.faces.source': 'j_idt6:searchform:j_idt8:search-submit',
                  'javax.faces.partial.execute': 'j_idt6:searchform',
                  'javax.faces.partial.render': 'j_idt6:searchform',
                  'j_idt6:searchform:j_idt8:search-submit': 'j_idt6:searchform:j_idt8:search-submit',
                  # 'j_idt6:searchform': 'j_idt6:searchform',
                  'j_idt6:searchform:j_idt8:inputreferences': self.blno,
                  # 'j_idt6:searchform:j_idt8:inputdatefrom_input': '04-jan-2019',
                  # 'j_idt6:searchform:j_idt8:inputdateto_input': '16-mar-2019',
                  # 'javax.faces.viewstate': '-2735644008488912659:3520516384583764336'
                  }
        else:
            fd = {'javax.faces.partial.ajax': 'true',
                  'javax.faces.source': 'j_idt7:searchform: j_idt9:search - submit',
                  'javax.faces.partial.execute': 'j_idt7:searchform',
                  'javax.faces.partial.render': 'j_idt7:searchform',
                  'j_idt7:searchform:j_idt9:search-submit': 'j_idt7:searchform:j_idt9:search-submit',
                  # 'javax.faces.viewstate:': '-1349351850393148019:-4619609355387768827',
                  # 'j_idt7:searchform:': 'j_idt7:searchform',
                  # 'j_idt7:searchform:j_idt9:inputdatefrom_input':'13-dec-2018',
                  # 'j_idt7:searchform:j_idt9:inputdateto_input':'22-feb-2019',
                  'j_idt7:searchform:j_idt9:inputreferences': self.blno
                  }

        fd.update(inputdata)

        headers = {
            ':authority': 'www.hamburgsud-line.com',
            ':method': 'post',
            ':path': '/linerportal/pages/hsdg/tnt.xhtml',
            ':scheme':'https',
            # 'accept': 'application/xml,text/xml,*/*;q=0.01',
            # 'accept-language':'zh-cn,zh;q=0.8',
            'content-type':'application/x-www-form-urlencoded; charset=utf-8',
            'faces-request': 'partial/ajax',
            'origin':'https://www.hamburgsud-line.com',
            'referer':'https://www.hamburgsud-line.com/linerportal/pages/hsdg/tnt.xhtml',
            'user-agent':'mozilla/5.0 (windows nt 6.1; wow64) applewebkit/537.36 (khtml, like gecko) chrome/55.0.2883.87 safari/537.36',
            'x-requested-with':'xmlhttprequest'
        }

        yield formrequest.from_response(response, formdata=fd,callback=self.parse_post,headers=headers)

    def parse_post(self, response):
        # 提交成功后，继续爬取start_urls 中的页面
        text = response.text;
        xml_data = minidom.parsestring(text).getelementsbytagname('update')
        if len(xml_data) > 0:
            # form = xml_data[0].textcontent
            form = xml_data[0].firstchild.wholetext

            selector = selector(text=form)
            trs = selector.css("table[role=grid] tbody tr")
            for i in range(len(trs)):
                print(trs[i])
                td = trs[i].css("td:nth-child(2)>a::text")
                yield  {
                    'containerno' : td.extract()
                }