python爬蟲(chóng)之場(chǎng)內(nèi)ETF基金獲取
1 前言
之前已經(jīng)介紹了基金的變動(dòng)信息,但是這些基金都是屬于場(chǎng)外的,今天我們要介紹的是一個(gè)帶門(mén)檻的投資產(chǎn)品-ETF。只有開(kāi)立證券賬戶的玩家才能入局,ETF 是一種場(chǎng)內(nèi)交易型基金,可以在盤(pán)中進(jìn)行交易,交易性比場(chǎng)外基金強(qiáng)一點(diǎn),那么閑言少敘,馬上開(kāi)始介紹正題。
2 ETF列表和簡(jiǎn)稱
ETF基金變動(dòng)情況和基本情況的獲取方式和場(chǎng)外基金是一樣的,怎么獲取比較全面的ETF基金列表呢?
# 獲取基金信息的列表 http://fund.eastmoney.com/data/fbsfundranking.html
以下是ETF信息列表所展示的信息:

ETF 在場(chǎng)內(nèi)進(jìn)行交易時(shí),一般都有一個(gè)簡(jiǎn)稱,獲取簡(jiǎn)稱的方式比較麻煩一點(diǎn),需要訪問(wèn)一個(gè)頁(yè)面,然后通過(guò) bs4 去解析元素的方式去獲取。
#經(jīng)過(guò)分析,我們可以發(fā)現(xiàn)基金代碼前綴就代表這其市場(chǎng),5上海市場(chǎng) 1-深圳市場(chǎng),以地產(chǎn)ETF和光伏ETF為例 http://quote.eastmoney.com/sz159707.html http://quote.eastmoney.com/sh515790.html

3 ETF 信息獲取
3.1 ETF列表信獲取
ETF 列表信息我們通過(guò)訪問(wèn)列表發(fā)現(xiàn)在訪問(wèn)列表數(shù)據(jù)時(shí),是請(qǐng)求了一個(gè)api接口到了后臺(tái),然后返回給前端一個(gè)響應(yīng)報(bào)文。

http://fund.eastmoney.com/data/rankhandler.aspx?op=ph&dt=fb&ft=ct&rs=&gs=0&sc=zzf&st=desc&pi=1&pn=50
看到這里就覺(jué)得很開(kāi)心,不用解析 html 文件了,當(dāng)通過(guò)request使用get 方式獲取數(shù)據(jù)時(shí),發(fā)現(xiàn)竟然沒(méi)有返回?zé)o訪問(wèn)權(quán)限,我想可能是沒(méi)有攜帶cookie的原因,但是我也沒(méi)有登錄呀,可能是請(qǐng)求頭需要攜帶一些頁(yè)面信息,于是,經(jīng)過(guò)嘗試,最終確定了需要攜帶的信息為:
headers = {
'Host': 'fund.eastmoney.com',
'Referer': 'http://fund.eastmoney.com/data/fbsfundranking.html'
}最終我們獲取基金列表的代碼應(yīng)該這樣寫(xiě):

調(diào)試后獲取到的結(jié)果如下圖所示:

3.2 獲取基金的簡(jiǎn)稱
獲取基金的簡(jiǎn)稱相對(duì)比較簡(jiǎn)單,通過(guò)分析發(fā)現(xiàn),簡(jiǎn)稱所在的位置在 <span class="quote_title_0 wryh">光伏ETF</span> 中,通過(guò)訪問(wèn)頁(yè)面獲取元素即可拿到簡(jiǎn)稱的描述。
具體的代碼如下圖所示:

4 最終結(jié)果展示
經(jīng)過(guò)獲取基金列表和獲取基金簡(jiǎn)稱兩個(gè)步驟,我們獲取到了最終的結(jié)果如下圖所示,已經(jīng)達(dá)成了需要獲取信息的目的:

后續(xù)我們會(huì)把基金信息和ETF 信息進(jìn)行合并存入數(shù)據(jù)庫(kù)中,方便后續(xù)的數(shù)據(jù)分析。
到此這篇關(guān)于python爬蟲(chóng)之場(chǎng)內(nèi)ETF基金獲取的文章就介紹到這了,更多相關(guān)python ETF基金獲取內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
使用pandas把某一列的字符值轉(zhuǎn)換為數(shù)字的實(shí)例
今天小編就為大家分享一篇使用pandas把某一列的字符值轉(zhuǎn)換為數(shù)字的實(shí)例,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2019-01-01
python制作機(jī)器人的實(shí)現(xiàn)方法
機(jī)器人自動(dòng)回復(fù)在很多場(chǎng)景中都可以用的上,本文主要介紹了python制作機(jī)器人的實(shí)現(xiàn)方法,具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下2021-06-06
echarts折線圖的每個(gè)折點(diǎn)都顯示數(shù)值的實(shí)現(xiàn)方式
這篇文章主要介紹了echarts折線圖的每個(gè)折點(diǎn)都顯示數(shù)值的實(shí)現(xiàn)方式,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2023-10-10
Python進(jìn)程池Pool應(yīng)用實(shí)例分析
這篇文章主要介紹了Python進(jìn)程池Pool應(yīng)用,結(jié)合實(shí)例形式分析了Python進(jìn)程池Pool功能、使用方法及相關(guān)操作注意事項(xiàng),需要的朋友可以參考下2019-11-11
Django URL和View的關(guān)系說(shuō)明
這篇文章主要介紹了Django URL和View的關(guān)系說(shuō)明,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2021-03-03
Python descriptor(描述符)的實(shí)現(xiàn)
這篇文章主要介紹了Python descriptor(描述符)的實(shí)現(xiàn),文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2020-11-11

