python模拟新浪微博登陆功能(新浪微博爬虫)
1、主函数（weibomain.py）：
import urllib2
import cookielib
import weiboencode
import weibosearch
if __name__ == '__main__':
weibologin = weibologin('×××@gmail.com', '××××')#邮箱（账号）、密码
if weibologin.login() == true:
print "登陆成功！"
前两个import是加载python的网络编程模块，后面的import是加载另两个文件weiboencode.py和weiboseach.py（稍后介绍）。主函数新建登陆对象，然后登陆。
2、weibologin类（weibomain.py）：
class weibologin:
def __init__(self, user, pwd, enableproxy = false):
"初始化weibologin，enableproxy表示是否使用代理服务器，默认关闭"
print "initializing weibologin..."
self.username = user
self.password = pwd
self.enableproxy = enableproxy
self.serverurl = "http://login.sina.com.cn/sso/prelogin.php?entry=weibo&callback=sinassocontroller.prelogincallback&su=&rsakt=mod&client=ssologin.js(v1.4.11)&_=1379834957683"
self.loginurl = "http://login.sina.com.cn/sso/login.php?client=ssologin.js(v1.4.11)"
self.postheader = {'user-agent': 'mozilla/5.0 (windows nt 6.1; rv:24.0) gecko/20100101 firefox/24.0'}
初始化函数，定义了两个关键的url成员：self.serverurl用于登陆的第一步（获取servertime、nonce等），这里的第一步实质包含了解析新浪微博的登录过程的1和2；self.loginurl用于第二步（加密用户和密码后，post给该url，self.postheader是post的头信息），这一步对应于解析新浪微博的登录过程的3。类内函数还有3个：
def login(self):
"登陆程序"
self.enablecookie(self.enableproxy)#cookie或代理服务器配置
servertime, nonce, pubkey, rsakv = self.getservertime()#登陆的第一步
postdata = weiboencode.postencode(self.username, self.password, servertime, nonce, pubkey, rsakv)#加密用户和密码
print "post data length:\n", len(postdata)
req = urllib2.request(self.loginurl, postdata, self.postheader)
print "posting request..."
result = urllib2.urlopen(req)#登陆的第二步——解析新浪微博的登录过程中3
text = result.read()
try:
loginurl = weibosearch.sredirectdata(text)#解析重定位结果
urllib2.urlopen(loginurl)
except:
print 'login error!'
return false
print 'login sucess!'
return true
self.enablecookie用于设置cookie及代理服务器，网络上有很多免费的代理服务器，为防止新浪封ip，可以使用。然后使登陆的第一步，访问新浪服务器得到servertime等信息，然后利用这些信息加密用户名和密码，构建post请求；执行第二步，向self.loginurl发送用户和密码，得到重定位信息后，解析得到最终跳转到的url，打开该url后，服务器自动将用户登陆信息写入cookie，登陆成功。
def enablecookie(self, enableproxy):
"enable cookie & proxy (if needed)."
cookiejar = cookielib.lwpcookiejar()#建立cookie
cookie_support = urllib2.httpcookieprocessor(cookiejar)
if enableproxy:
proxy_support = urllib2.proxyhandler({'http':'http://xxxxx.pac'})#使用代理
opener = urllib2.build_opener(proxy_support, cookie_support, urllib2.httphandler)
print "proxy enabled"
else:
opener = urllib2.build_opener(cookie_support, urllib2.httphandler)
urllib2.install_opener(opener)#构建cookie对应的opener
enablecookie函数比较简单
def getservertime(self):
"get server time and nonce, which are used to encode the password"
print "getting server time and nonce..."
serverdata = urllib2.urlopen(self.serverurl).read()#得到网页内容
print serverdata
try:
servertime, nonce, pubkey, rsakv = weibosearch.sserverdata(serverdata)#解析得到servertime，nonce等
return servertime, nonce, pubkey, rsakv
except:
print 'get server time & nonce error!'
return none
weibosearch文件中的函数主要用于解析从服务器得到的数据，比较简单。
3、sserverdata函数（weibosearch.py）:
import re
import json
def sserverdata(serverdata):
"search the server time & nonce from server data"
p = re.compile('\((.*)\)')
jsondata = p.search(serverdata).group(1)
data = json.loads(jsondata)
servertime = str(data['servertime'])
nonce = data['nonce']
pubkey = data['pubkey']#
rsakv = data['rsakv']#
print "server time is:", servertime
print "nonce is:", nonce
return servertime, nonce, pubkey, rsakv
解析过程主要使用了正则表达式和json，这部分比较容易理解。另外login中解析重定位结果部分函数也在这个文件中如下：
def sredirectdata(text):
p = re.compile('location\.replace\([\'"](.*?)[\'"]\)')
loginurl = p.search(text).group(1)
print 'loginurl:',loginurl
return loginurl
4、从第一步到第二步要对用户和密码进行加密，编码操作（weiboencode.py）
import urllib
import base64
import rsa
import binascii
def postencode(username, password, servertime, nonce, pubkey, rsakv):
"used to generate post data"
encodedusername = getusername(username)#用户名使用base64加密
encodedpassword = get_pwd(password, servertime, nonce, pubkey)#目前密码采用rsa加密
postpara = {
'entry': 'weibo',
'gateway': '1',
'from': '',
'savestate': '7',
'userticket': '1',
'ssosimplelogin': '1',
'vsnf': '1',
'vsnval': '',
'su': encodedusername,
'service': 'miniblog',
'servertime': servertime,
'nonce': nonce,
'pwencode': 'rsa2',
'sp': encodedpassword,
'encoding': 'utf-8',
'prelt': '115',
'rsakv': rsakv,
'url': 'http://weibo.com/ajaxlogin.php?framelogin=1&callback=parent.sinassocontroller.feedbackurlcallback',
'returntype': 'meta'
}
postdata = urllib.urlencode(postpara)#网络编码
return postdata
postencode函数构建post的消息体，要求构建得到内容与真正登陆所需的信息相同。难点在用户名和密码的加密方式：
def getusername(username):
"used to encode user name"
usernametemp = urllib.quote(username)
usernameencoded = base64.encodestring(usernametemp)[:-1]
return usernameencoded
def get_pwd(password, servertime, nonce, pubkey):
rsapublickey = int(pubkey, 16)
key = rsa.publickey(rsapublickey, 65537) #创建公钥
message = str(servertime) + '\t' + str(nonce) + '\n' + str(password) #拼接明文js加密文件中得到
passwd = rsa.encrypt(message, key) #加密
passwd = binascii.b2a_hex(passwd) #将加密信息转换为16进制。
return passwd
新浪登录过程，密码的加密方式原来是sha1，现在变为了rsa，以后可能还会变化，但是各种加密算法在python中都有对应的实现，只要发现它的加密方式（），程序比较易于实现。
到这里，python模拟登陆新浪微博就成功了，运行输出：
loginurl: http://weibo.com/ajaxlogin.php?framelogin=1&callback=parent.sinassocontroller.feedbackurlcallback&ssosavestate=1390390056&ticket=st-mzq4nzq5ntyyma==-1387798056-xd-284624bfc19fe242bbae2c39fb3a8ca8&retcode=0
login sucess!
果需要爬取微博中的信息，接下来只需要在main函数后添加爬取、解析模块就可以了，比如读取某微博网页的内容：
htmlcontent = urllib2.urlopen(myurl).read()#得到myurl网页的所有内容(html)
大家可以根据不同的需求设计不同的爬虫模块了，模拟登陆的代码放在这里。