Python學(xué)習(xí)筆記之抓取某只基金歷史凈值數(shù)據(jù)實(shí)戰(zhàn)案例

更新時(shí)間：2019年06月03日 10:42:04 作者：學(xué)習(xí)筆記666

這篇文章主要介紹了Python學(xué)習(xí)筆記之抓取某只基金歷史凈值數(shù)據(jù)案例,結(jié)合具體實(shí)例形式分析了Python基于selenium庫(kù)的數(shù)據(jù)抓取及mysql交互相關(guān)實(shí)現(xiàn)技巧,需要的朋友可以參考下

本文實(shí)例講述了Python抓取某只基金歷史凈值數(shù)據(jù)。分享給大家供大家參考，具體如下：

http://fund.eastmoney.com/f10/jjjz_519961.html

1、接下來(lái)，我們需要?jiǎng)邮职堰@些html抓取下來(lái)(這部分知識(shí)我們之前已經(jīng)學(xué)過(guò)，現(xiàn)在不妨重溫)

# coding: utf-8
from selenium.webdriver.support.ui import WebDriverWait
from selenium import webdriver
from bs4 import BeautifulSoup
from threading import Thread,Lock
import os
import csv
# 下面是利用 selenium 抓取html頁(yè)面的代碼
# 初始化函數(shù)
def initSpider():
  driver = webdriver.PhantomJS(executable_path=r"你phantomjs可執(zhí)行文件的絕對(duì)路徑")
  driver.get("http://fund.eastmoney.com/f10/jjjz_519961.html") # 要抓取的網(wǎng)頁(yè)地址
  # 找到"下一頁(yè)"按鈕,就可以得到它前面的一個(gè)label,就是總頁(yè)數(shù)
  getPage_text = driver.find_element_by_id("pagebar").find_element_by_xpath(
    "div[@class='pagebtns']/label[text()='下一頁(yè)']/preceding-sibling::label[1]").get_attribute("innerHTML")
  # 得到總共有多少頁(yè)
  total_page = int("".join(filter(str.isdigit, getPage_text)))
  # 返回
  return (driver,total_page)
# 獲取html內(nèi)容
def getData(myrange,driver,lock):
  for x in myrange:
    # 鎖住
    lock.acquire()
    tonum = driver.find_element_by_id("pagebar").find_element_by_xpath(
      "div[@class='pagebtns']/input[@class='pnum']") # 得到 頁(yè)碼文本框
    jumpbtn = driver.find_element_by_id("pagebar").find_element_by_xpath(
      "div[@class='pagebtns']/input[@class='pgo']") # 跳轉(zhuǎn)到按鈕
    tonum.clear() # 第x頁(yè) 輸入框
    tonum.send_keys(str(x)) # 去第x頁(yè)
    jumpbtn.click() # 點(diǎn)擊按鈕
    # 抓取
    WebDriverWait(driver, 20).until(lambda driver: driver.find_element_by_id("pagebar").find_element_by_xpath("div[@class='pagebtns']/label[@value={0} and @class='cur']".format(x)) != None)
    # 保存到項(xiàng)目中
    with open("../htmls/details/{0}.txt".format(x), 'wb') as f:
      f.write(driver.find_element_by_id("jztable").get_attribute("innerHTML").encode('utf-8'))
      f.close()
    # 解鎖
    lock.release()
# 開(kāi)始抓取函數(shù)
def beginSpider():
  # 初始化爬蟲(chóng)
  (driver, total_page) = initSpider()
  # 創(chuàng)建鎖
  lock = Lock()
  r = range(1, int(total_page)+1)
  step = 10
  range_list = [r[x:x + step] for x in range(0, len(r), step)]  #把頁(yè)碼分段
  thread_list = []
  for r in range_list:
    t = Thread(target=getData, args=(r,driver,lock))
    thread_list.append(t)
    t.start()
  for t in thread_list:
    t.join() # 這一步是需要的,等待線程全部執(zhí)行完成
  print("抓取完成")
# #################上面代碼就完成了 抓取遠(yuǎn)程網(wǎng)站html內(nèi)容并保存到項(xiàng)目中的 過(guò)程

需要說(shuō)明一下這3個(gè)函數(shù)：

initSpider函數(shù)，初始化了selenium的webdriver對(duì)象，并且先獲取到我們需要抓取頁(yè)面的總頁(yè)碼數(shù)。
getData函數(shù)，有3個(gè)參數(shù)，myrange我們還是要分段抓取，之前我們學(xué)過(guò)多進(jìn)程抓取，這里我們是多線程抓?。籰ock參數(shù)用來(lái)鎖住線程的，防止線程沖突；driver就是我們?cè)?code>initSpider函數(shù)中初始化的webdriver對(duì)象。
在getData函數(shù)中，我們循環(huán)myrange，把抓取到的html內(nèi)容保存到了項(xiàng)目目錄中。
beginSpider函數(shù)，我們?cè)诖撕瘮?shù)中給總頁(yè)碼分段，并且創(chuàng)建線程，調(diào)用getData。

所以最后執(zhí)行：

beginSpider()

就開(kāi)始抓取 http://fund.eastmoney.com/f10/jjjz_519961.html 這個(gè)基金的”歷史凈值明細(xì)”，共有31個(gè)頁(yè)面。

2、根據(jù)已經(jīng)學(xué)過(guò)的python和mysql交互的知識(shí)，我們也可以再把這些數(shù)據(jù) 寫入到數(shù)據(jù)表中。

這里就不再贅述，給出基金詳細(xì)表結(jié)構(gòu)：

CREATE TABLE `fund_detail` (
 `id` int(11) unsigned NOT NULL AUTO_INCREMENT,
 `fcode` varchar(10) NOT NULL DEFAULT '' COMMENT '基金代碼',
 `fdate` datetime DEFAULT NULL COMMENT '基金日期',
 `NAV` decimal(10,4) DEFAULT NULL COMMENT '單位凈值',
 `ACCNAV` decimal(10,4) DEFAULT NULL COMMENT '累計(jì)凈值',
 `DGR` varchar(20) DEFAULT NULL COMMENT '日增長(zhǎng)率',
 `pstate` varchar(20) DEFAULT NULL COMMENT '申購(gòu)狀態(tài)',
 `rstate` varchar(20) DEFAULT NULL COMMENT '贖回狀態(tài)',
 PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COMMENT='基金詳細(xì)數(shù)據(jù)表';

更多關(guān)于Python相關(guān)內(nèi)容可查看本站專題：《Python Socket編程技巧總結(jié)》、《Python正則表達(dá)式用法總結(jié)》、《Python數(shù)據(jù)結(jié)構(gòu)與算法教程》、《Python函數(shù)使用技巧總結(jié)》、《Python字符串操作技巧匯總》、《Python入門與進(jìn)階經(jīng)典教程》及《Python文件與目錄操作技巧匯總》

希望本文所述對(duì)大家Python程序設(shè)計(jì)有所幫助。

您可能感興趣的文章: