爬取qq好友说说并对数据简单分析
上一篇介绍了直接爬取的方法,这篇介绍利用Selenium模拟浏览器爬取。Selenium是一个用于Web应用程序测试的工具,它直接运行在浏览器中,就像真实的用户在操作一样。由于这个性质,Selenium也是一个强大的网络数据采集工具,它可以让浏览器自动加载页面。介绍两种方法,一种是Selenium和PhantomJS配合使用,但由于最新版本的Selenium不再支持PhantomJS,所以如果使用PhantomJS需要对Selenium降级。方法:降级方法
然后去PhantomJS官网下载适合自己的版本
下载完成后,解压压缩包,由于PhantomJS路径没有添加到系统路径中,每次编写代码都要手动进行路径的输入。有两个方法可以解决这个问题,一是在系统路径上添加,二是把PhantomJS.exe复制到Python目录下,因为安装的Python路径已经添加到了系统路径中。
测试:在Python环境中输入以下代码进行测试,运行没有出错,说明PhantomJS环境已配置好。
from selenium import webdriver
driver = webdriver.PhantomJS()
另一种方法是使用其他的被Selenium支持的无头浏览器,比如说使用Chrome无头浏览器 使用方法
准备完成后打开 网页版QQ 右键检查
我们需要切到这个frame中,因为我们后面需要定位账号和密码。
右键账号检查
可以看到账号处id=’u’,类似的找到密码id=’p’,登录id=’login_button’
那么进入空间之前的处理如下所示
#登录qq
try:
driver.find_element_by_id('login_div')
a = True
except:
a = False
#a为真时是未登录
if a == True:
# print('未登录')
driver.switch_to.frame('login_frame')
#切换到账号密码登录
#click是模拟鼠标点击
driver.find_element_by_id('switcher_plogin').click()
driver.find_element_by_id('u').clear()
driver.find_element_by_id('u').send_keys('填入账号')
driver.find_element_by_id('p').clear()
driver.find_element_by_id('p').send_keys('填入密码')
driver.find_element_by_id('login_button').click()
#等待加载
time.sleep(3)
driver.implicitly_wait(3)
其中的driver如下:
使用PhantomJS时
driver = webdriver.PhantomJS()
使用Chrome时
#设置为无头模式
chrome_options.add_argument("--headless")
driver = webdriver.Chrome(chrome_options=chrome_options)
由于有的空间我们没有权限访问,需要做一些处理。进入空间后,在头像处右键检查
有一行id=’QM_OwnerInfo_ModifyIcon’,通过判断是否存在这个元素来判断是否有权限访问好友空间
# 判断是否有查看的权限
try:
driver.find_element_by_id('QM_OwnerInfo_ModifyIcon')
b = True
except:
b = False
爬取好友多页说说(不包括评论信息和点赞信息)的数据
#爬取内容
driver.switch_to.frame('app_canvas_frame')
next_page = 'page'
page = 1
try:
#爬取全部说说
while next_page:
print('正在抓取第%d页面内容······' % page)
contents = driver.find_elements_by_css_selector('.content')
times = driver.find_elements_by_css_selector('
.c_tx.c_tx3.goDetail')
for content, stime in zip(contents, times):
data = {
'qq':qq,
'time': stime.text,
'shuos': content.text
}
#插入到数据库
qzone.insert_one(data)
# print(data)
next_page = driver.find_element_by_link_text('下一页')#文本定位
next_page.click()
time.sleep(3)#等待页面加载
driver.implicitly_wait(3)
page = page + 1
except:
print('抓取到%d页面结束' % page)
爬取之前要获取好友列表,这里介绍上节说的第二种获取好友列表的方法,打开qq邮箱,点击左侧的通讯录,在右侧的界面中qq好友下面将好友添加到通讯录中,在工具中选择导出联系人,导出格式csv,这样我们就得到了导出的联系人的表格。
处理表格:
#path 为传入的通讯录的文件的路径
def get_friends_list(path):
fp = open(path)
reader = csv.DictReader(fp)
for row in reader:
qq = row['电子邮件'].split('@')[0]
#存入数据库
QQ.insert_one({'qq':qq})
fp.close()
完整版:
from selenium import webdriver
import time
from multiprocessing import Pool
import pymongo
import csv
client = pymongo.MongoClient('localhost',27017)
mydb = client['Qzone']
#好友列表
QQ = mydb['QQ']
#说说信息
qzone = mydb['qzone']
#打开csv文件
def get_friends_list(path):
fp = open(path)
reader = csv.DictReader(fp)
for row in reader:
qq = row['电子邮件'].split('@')[0]
QQ.insert_one({'qq':qq})
fp.close()
def get_info(qq):
driver.get('https://user.qzone.qq.com/{}/311'.format(qq))
driver.implicitly_wait(10)
#登录
try:
driver.find_element_by_id('login_div')
a = True
except:
a = False
if a == True:
driver.switch_to.frame('login_frame')
driver.find_element_by_id('switcher_plogin').click()#账号密码登录
driver.find_element_by_id('u').clear()
driver.find_element_by_id('u').send_keys('账号')
driver.find_element_by_id('p').clear()
driver.find_element_by_id('p').send_keys('密码')
driver.find_element_by_id('login_button').click()
time.sleep(3)
driver.implicitly_wait(3)
# 判断是否有查看的权限
try:
driver.find_element_by_id('QM_OwnerInfo_ModifyIcon')
b = True
except:
b = False
print('无法访问%s的空间,需要权限 '% qq)
if b == True:
#爬取内容
driver.switch_to.frame('app_canvas_frame')
next_page = 'page'
page = 1
try:
#爬取全部说说
while next_page:
print('正在抓取第%d页面内容······' % page)
contents = driver.find_elements_by_css_selector('.content')
times = driver.find_elements_by_css_selector('.c_tx.c_tx3.goDetail')
for content, stime in zip(contents, times):
data = {
'qq':qq,
'time': stime.text,
'shuos': content.text
}
qzone.insert_one(data)
# print(data)
next_page = driver.find_element_by_link_text('下一页')#文本定位
next_page.click()
time.sleep(3)#等待页面加载
driver.implicitly_wait(3)
page = page + 1
except:
print('抓取到%d页面结束' % page)
# driver = webdriver.PhantomJS()
chrome_options = webdriver.ChromeOptions()
chrome_options.add_argument("--headless")
driver = webdriver.Chrome(chrome_options=chrome_options)
driver.maximize_window() #窗口最大化
if __name__ == '__main__':
get_friends_list('传入导出的联系人的路径')
friends = [item['qq'] for item in QQ.find()]
pool = Pool(processes=4)
pool.map(get_info,friends)