Python爬蟲(chóng)獲取國(guó)外大橋排行榜數(shù)據(jù)清單

更新時(shí)間：2022年05月17日 11:42:56 作者：??夢(mèng)想橡皮擦????

這篇文章主要介紹了Python爬蟲(chóng)獲取國(guó)外大橋排行榜數(shù)據(jù)清單，文章通過(guò)PyQuery?解析框架展開(kāi)全文詳細(xì)內(nèi)容，需要的小伙伴可以參考一下

目標(biāo)站點(diǎn)分析

本次要采集的為：List of Highest International Bridges（最高國(guó)際橋梁名單），

頁(yè)面呈現(xiàn)的數(shù)據(jù)如下所示：

在翻閱過(guò)程中發(fā)現(xiàn)多數(shù)都是中國(guó)設(shè)計(jì)的，果然我們基建世界第一。

翻頁(yè)規(guī)則如下所示：

http://www.highestbridges.com/wiki/index.php?title=List_of_Highest_International_Bridges/Page_1
http://www.highestbridges.com/wiki/index.php?title=List_of_Highest_International_Bridges/Page_2
# 實(shí)測(cè)翻到第 13 頁(yè)數(shù)據(jù)就空了，大概1200座橋梁
http://www.highestbridges.com/wiki/index.php?title=List_of_Highest_International_Bridges/Page_13

由于目標(biāo)數(shù)據(jù)以表格形式存在，故直接按照表頭提取數(shù)據(jù)即可。 Rank，Name，Height (meters / feet)，Main Span Length，Completed，Location，Country

編碼時(shí)間

正式編碼前，先拿第一頁(yè)進(jìn)行練手：

from pyquery import PyQuery as pq
url = "http://www.highestbridges.com/wiki/index.php?title=List_of_Highest_International_Bridges/Page_1"
doc = pq(url=url, encoding='utf-8')
print(doc('title'))
def remove(str):
    return str.replace("
", "").replace("\n", "")
# 獲取所有數(shù)據(jù)所在的行，下面使用的是 css 選擇器，稱(chēng)作 jquery 選擇器也沒(méi)啥問(wèn)題
items = doc.find('table.wikitable.sortable tr').items()
for item in items:
    td_list = item.find('td')
    rank = td_list.eq(1).find("span.sorttext").text()
    name = td_list.eq(2).find("a").text()
    height = remove(td_list.eq(3).text())
    length = remove(td_list.eq(4).text())
    completed = td_list.eq(5).text()
    location = td_list.eq(6).text()
    country = td_list.eq(7).text()
    print(rank, name, height, length, completed, location, country)

代碼整體寫(xiě)下來(lái)，發(fā)現(xiàn)依舊是對(duì)于選擇器的依賴(lài)比較大，也就是需要熟練的操作選擇器，選中目標(biāo)元素，方便獲取最終的數(shù)據(jù)。

將上述代碼擴(kuò)大到全部數(shù)據(jù)，修改成迭代采集：

from pyquery import PyQuery as pq
import time
def remove(str):
    return str.replace("
", "").replace("\n", "").replace(",", "，")
def get_data(page):
    url = "http://www.highestbridges.com/wiki/index.php?title=List_of_Highest_International_Bridges/Page_{}".format(
        page)
    print(url)
    doc = pq(url=url, encoding='utf-8')
    print(doc('title'))
    # 獲取所有數(shù)據(jù)所在的行，下面使用的是 css 選擇器，稱(chēng)作 jquery 選擇器也沒(méi)啥問(wèn)題
    items = doc.find('table.wikitable.sortable tr').items()
    for item in items:
        td_list = item.find('td')
        rank = td_list.eq(1).find("span.sorttext").text()
        name = remove(td_list.eq(2).find("a").text())
        height = remove(td_list.eq(3).text())
        length = remove(td_list.eq(4).text())
        completed = remove(td_list.eq(5).text())
        location = remove(td_list.eq(6).text())
        country = remove(td_list.eq(7).text())
        data_tuple = (rank, name, height, length, completed, location, country)
        save(data_tuple)
def save(data_tuple):
    try:
        my_str = ",".join(data_tuple) + "\n"
        # print(my_str)
        with open(f"./data.csv", "a+", encoding="utf-8") as f:
            f.write(my_str)
            print("寫(xiě)入完畢")
    except Exception as e:
        pass
if __name__ == '__main__':
    for page in range(1, 14):
        get_data(page)
        time.sleep(3)

其中發(fā)現(xiàn)存在英文的逗號(hào)，統(tǒng)一進(jìn)行修改，即 remove(str) 函數(shù)的應(yīng)用。

到此這篇關(guān)于Python爬蟲(chóng)獲取國(guó)外大橋排行榜數(shù)據(jù)清單的文章就介紹到這了,更多相關(guān)Python數(shù)據(jù)清單內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

您可能感興趣的文章: