欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  IT编程

Python学习笔记之抓取某只基金历史净值数据实战案例

程序员文章站 2023-12-13 13:09:40
本文实例讲述了python抓取某只基金历史净值数据。分享给大家供大家参考,具体如下: http://fund.eastmoney.com/f10/jjjz_519961....

本文实例讲述了python抓取某只基金历史净值数据。分享给大家供大家参考,具体如下:

http://fund.eastmoney.com/f10/jjjz_519961.html

Python学习笔记之抓取某只基金历史净值数据实战案例

1、接下来,我们需要动手把这些html抓取下来(这部分知识我们之前已经学过,现在不妨重温)

# coding: utf-8
from selenium.webdriver.support.ui import webdriverwait
from selenium import webdriver
from bs4 import beautifulsoup
from threading import thread,lock
import os
import csv
# 下面是利用 selenium 抓取html页面的代码
# 初始化函数
def initspider():
  driver = webdriver.phantomjs(executable_path=r"你phantomjs可执行文件的绝对路径")
  driver.get("http://fund.eastmoney.com/f10/jjjz_519961.html") # 要抓取的网页地址
  # 找到"下一页"按钮,就可以得到它前面的一个label,就是总页数
  getpage_text = driver.find_element_by_id("pagebar").find_element_by_xpath(
    "div[@class='pagebtns']/label[text()='下一页']/preceding-sibling::label[1]").get_attribute("innerhtml")
  # 得到总共有多少页
  total_page = int("".join(filter(str.isdigit, getpage_text)))
  # 返回
  return (driver,total_page)
# 获取html内容
def getdata(myrange,driver,lock):
  for x in myrange:
    # 锁住
    lock.acquire()
    tonum = driver.find_element_by_id("pagebar").find_element_by_xpath(
      "div[@class='pagebtns']/input[@class='pnum']") # 得到 页码文本框
    jumpbtn = driver.find_element_by_id("pagebar").find_element_by_xpath(
      "div[@class='pagebtns']/input[@class='pgo']") # 跳转到按钮
    tonum.clear() # 第x页 输入框
    tonum.send_keys(str(x)) # 去第x页
    jumpbtn.click() # 点击按钮
    # 抓取
    webdriverwait(driver, 20).until(lambda driver: driver.find_element_by_id("pagebar").find_element_by_xpath("div[@class='pagebtns']/label[@value={0} and @class='cur']".format(x)) != none)
    # 保存到项目中
    with open("../htmls/details/{0}.txt".format(x), 'wb') as f:
      f.write(driver.find_element_by_id("jztable").get_attribute("innerhtml").encode('utf-8'))
      f.close()
    # 解锁
    lock.release()
# 开始抓取函数
def beginspider():
  # 初始化爬虫
  (driver, total_page) = initspider()
  # 创建锁
  lock = lock()
  r = range(1, int(total_page)+1)
  step = 10
  range_list = [r[x:x + step] for x in range(0, len(r), step)]  #把页码分段
  thread_list = []
  for r in range_list:
    t = thread(target=getdata, args=(r,driver,lock))
    thread_list.append(t)
    t.start()
  for t in thread_list:
    t.join() # 这一步是需要的,等待线程全部执行完成
  print("抓取完成")
# #################上面代码就完成了 抓取远程网站html内容并保存到项目中的 过程

需要说明一下这3个函数:

initspider函数,初始化了selenium的webdriver对象,并且先获取到我们需要抓取页面的总页码数。
getdata函数,有3个参数,myrange我们还是要分段抓取,之前我们学过多进程抓取,这里我们是多线程抓取;lock参数用来锁住线程的,防止线程冲突;driver就是我们在initspider函数中初始化的webdriver对象。
getdata函数中,我们循环myrange,把抓取到的html内容保存到了项目目录中。
beginspider函数,我们在此函数中给总页码分段,并且创建线程,调用getdata

所以最后执行:

beginspider()

就开始抓取 http://fund.eastmoney.com/f10/jjjz_519961.html 这个基金的”历史净值明细”,共有31个页面。

Python学习笔记之抓取某只基金历史净值数据实战案例

2、根据已经学过的python和mysql交互的知识,我们也可以再把这些数据 写入到数据表中。

这里就不再赘述,给出基金详细表结构:

create table `fund_detail` (
 `id` int(11) unsigned not null auto_increment,
 `fcode` varchar(10) not null default '' comment '基金代码',
 `fdate` datetime default null comment '基金日期',
 `nav` decimal(10,4) default null comment '单位净值',
 `accnav` decimal(10,4) default null comment '累计净值',
 `dgr` varchar(20) default null comment '日增长率',
 `pstate` varchar(20) default null comment '申购状态',
 `rstate` varchar(20) default null comment '赎回状态',
 primary key (`id`)
) engine=innodb default charset=utf8mb4 comment='基金详细数据表';

更多关于python相关内容可查看本站专题:《python socket编程技巧总结》、《python正则表达式用法总结》、《python数据结构与算法教程》、《python函数使用技巧总结》、《python字符串操作技巧汇总》、《python入门与进阶经典教程》及《python文件与目录操作技巧汇总

希望本文所述对大家python程序设计有所帮助。

上一篇:

下一篇: