欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  IT编程

python实现带验证码网站的自动登陆实现代码

程序员文章站 2022-06-20 23:50:22
早听说用python做网络爬虫非常方便,正好这几天单位也有这样的需求,需要登陆xx网站下载部分文档,于是自己亲身试验了一番,效果还不错。 本例所登录的某网站需要提供用户名...

早听说用python做网络爬虫非常方便,正好这几天单位也有这样的需求,需要登陆xx网站下载部分文档,于是自己亲身试验了一番,效果还不错。

本例所登录的某网站需要提供用户名,密码和验证码,在此使用了python的urllib2直接登录网站并处理网站的cookie。

cookie的工作原理:
cookie由服务端生成,然后发送给浏览器,浏览器会将cookie保存在某个目录下的文本文件中。在下次请求同一网站时,会发送该cookie给服务器,这样服务器就知道该用户是否合法以及是否需要重新登录。

python提供了基本的cookielib库,在首次访问某页面时,cookie便会自动保存下来,之后访问其它页面便都会带有正常登录的cookie了。

原理:

(1)激活cookie功能
(2)反“反盗链”,伪装成浏览器访问
(3)访问验证码链接,并将验证码图片下载到本地
(4)验证码的识别方案网上较多,python也有自己的图像处理库,此例调用了火车头采集器的ocr识别接口。
(5)表单的处理,可用fiddler等抓包工具获取需要提交的参数
(6)生成需要提交的数据,生成http请求并发送
(7)根据返回的js页面判断是否登陆成功
(8)登陆成功后下载其它页面

此例中使用多个账号轮询登陆,每个账号下载3个页面。

下载网址因为某些问题,就不透露了。

以下是部分代码:

#!usr/bin/env python
#-*- coding: utf-8 -*-

import os
import urllib2
import urllib
import cookielib
import xml.etree.elementtree as et


#-----------------------------------------------------------------------------
# login in www.***.com.cn
def chinabiddinglogin(url, username, password):
    # enable cookie support for urllib2
    cookiejar=cookielib.cookiejar()
    urlopener=urllib2.build_opener(urllib2.httpcookieprocessor(cookiejar))
    urllib2.install_opener(urlopener)
    
    urlopener.addheaders.append(('referer', 'http://www.chinabidding.com.cn/zbw/login/login.jsp'))
    urlopener.addheaders.append(('accept-language', 'zh-cn'))
    urlopener.addheaders.append(('host', 'www.chinabidding.com.cn'))
    urlopener.addheaders.append(('user-agent', 'mozilla/5.0 (compatible; mise 9.0; windows nt 6.1); trident/5.0'))
    urlopener.addheaders.append(('connection', 'keep-alive'))


    print 'xxx login......'


    imgurl=r'http://www.*****.com.cn/zbw/login/image.jsp'
    downloadfile(imgurl, urlopener)
    authcode=raw_input('please enter the authcode:')
    #authcode=verifyingcoderecognization(r"http://192.168.0.106/images/code.jpg")


    # send login/password to the site and get the session cookie
    values={'login_id':username, 'opl':'op_login', 'login_passwd':password, 'login_check':authcode}
    urlcontent=urlopener.open(urllib2.request(url, urllib.urlencode(values)))
    page=urlcontent.read(500000)


    # make sure we are logged in, check the returned page content
    if page.find('login.jsp')!=-1:
        print 'login failed with username=%s, password=%s and authcode=%s' \
                % (username, password, authcode)
        return false
    else:
        print 'login succeeded!'
        return true


#-----------------------------------------------------------------------------
# download from fileurl then save to filetosave
# note: the fileurl must be a valid file
def downloadfile(fileurl, urlopener):
    isdownok=false


    try:
        if fileurl:
            outfile=open(r'/var/www/images/code.jpg', 'w')
            outfile.write(urlopener.open(urllib2.request(fileurl)).read())
            outfile.close()


            isdownok=true
        else:
            print 'error: fileurl is null!'
    except:
        isdownok=false


    return isdownok


#------------------------------------------------------------------------------
# verifying code recoginization
def verifyingcoderecognization(imgurl):
    url=r'http://192.168.0.119:800/api?'
    user='admin'
    pwd='admin'
    model='ocr'
    ocrfile='cbi'


    values={'user':user, 'pwd':pwd, 'model':model, 'ocrfile':ocrfile, 'imgurl':imgurl}
    data=urllib.urlencode(values)


    try:
        url+=data
        urlcontent=urllib2.urlopen(url)
    except ioerror:
        print '***error: invalid url (%s)' % url


    page=urlcontent.read(500000)


    # parse the xml data and get the verifying code
    root=et.fromstring(page)
    node_find=root.find('addfield')
    authcode=node_find.attrib['data']


    return authcode


#------------------------------------------------------------------------------
# read users from configure file
def readusersfromfile(filename):
    users={}
    for eachline in open(filename, 'r'):
        info=[w for w in eachline.strip().split()]
        if len(info)==2:
            users[info[0]]=info[1]


    return users


#------------------------------------------------------------------------------
def main():
    login_page=r'http://www.***.com.cnlogin/login.jsp'
    download_page=r'http://www.***.com.cn***/***?record_id='


    start_id=8593330
    end_id=8595000


    now_id=start_id
    users=readusersfromfile('users.conf')
    while true:
        for key in users:
            if chinabiddinglogin(login_page, key, users[key]):
                for i in range(3):
                    pageurl=download_page+'%d' % now_id
                    urlcontent=urllib2.urlopen(pageurl)


                    filepath='./download/%s.html' % now_id
                    f=open(filepath, 'w')
                    f.write(urlcontent.read(500000))
                    f.close()


                    now_id+=1
            else:
                continue
#------------------------------------------------------------------------------


if __name__=='__main__':
    main()