ChatGPT 幫我自動(dòng)編寫 Python 爬蟲(chóng)腳本的詳細(xì)過(guò)程

更新時(shí)間：2023年02月16日 10:48:29 作者：Python數(shù)據(jù)開(kāi)發(fā)

ChatGPT是一種基于大語(yǔ)言模型的生成式AI，換句話說(shuō)它可以自動(dòng)生成類似人類語(yǔ)言的文本，把梳理好的有邏輯的答案呈現(xiàn)在你面前，這完全不同于傳統(tǒng)搜索工具，這篇文章主要介紹了ChatGPT 幫我自動(dòng)編寫 Python 爬蟲(chóng)腳本,需要的朋友可以參考下

1、爬取知乎上的專欄文章

提問(wèn)：

幫我用python寫代碼爬取網(wǎng)站

ChatGPT:

把給到的代碼放進(jìn)PyCharm中跑一遍，發(fā)現(xiàn)沒(méi)有報(bào)錯(cuò)，且打印出了內(nèi)容。

import requests
from bs4 import BeautifulSoup

url = "https://zhuanlan.zhihu.com/p/595050104"
response = requests.get(url)
soup = BeautifulSoup(response.text, "html.parser")

title = soup.find("h1", class_="Post-Title").text.strip()
body = soup.find("div", class_="Post-RichText").text.strip()

print("Title:", title)
print("Body:", body)

雖然說(shuō)ChatGPT給出的代碼可以執(zhí)行，但它也提到由于爬取的網(wǎng)站會(huì)隨時(shí)變更，也就是HTML會(huì)變動(dòng)，所以代碼可能需要調(diào)整才能正常工作。

凡是寫過(guò)爬蟲(chóng)的同學(xué)應(yīng)該都能理解，人工寫的爬蟲(chóng)代碼也沒(méi)法一勞永逸，需要隨時(shí)改。

這一點(diǎn)ChatGPT提示的很有道理。

后來(lái)我測(cè)試了medium、百家號(hào)上的文章，ChatGPT提供的代碼形式幾乎和上面一致，沒(méi)法直接執(zhí)行獲取結(jié)果，需要微調(diào)后才能跑。

2. 爬取京東某商品的評(píng)論

為了給ChatGPT增加難度，我試著讓它去爬取某電商網(wǎng)站的用戶評(píng)論

提問(wèn)：

請(qǐng)用python寫代碼爬取這個(gè)京東商品的所有用戶評(píng)論 https://item.jd.com/13652780.html

ChatGPT:

可能這個(gè)網(wǎng)頁(yè)是動(dòng)態(tài)頁(yè)面，ChatGPT提供的方法并不能爬取評(píng)論。

我接著問(wèn)：

爬取的結(jié)果是空值怎么辦？

ChatGPT:

[外鏈圖片轉(zhuǎn)存失敗,源站可能有防盜鏈機(jī)制,建議將圖片保存下來(lái)直接上傳(img-nnDP8sph-1676473447460)(null)]

ChatGPT提供了3種可能存在的原因，但并沒(méi)有幫我修改代碼。

于是我又問(wèn)：

還是空值請(qǐng)幫我重新寫代碼爬取

ChatGPT:

這次就牛掰了，它重新用Selenium寫了爬蟲(chóng)代碼，并告訴我爬取動(dòng)態(tài)網(wǎng)頁(yè)需要模擬瀏覽器行為，因此得用selenium技術(shù)。

我沒(méi)有運(yùn)行去測(cè)試代碼正確與否，但ChatGPT確實(shí)驚艷到我了，能夠前后關(guān)聯(lián)對(duì)話內(nèi)容，并給出正確的解決方法。

3.繼續(xù)更多的測(cè)試

上面只是蜻蜓點(diǎn)水的玩玩，ChatGPT就已經(jīng)吸引到我，

我準(zhǔn)備多花時(shí)間去測(cè)試ChatGPT應(yīng)對(duì)各種爬蟲(chóng)的解決方案，以及它對(duì)bug的修復(fù)能力。

僅僅從寫代碼層面看，ChatGPT已經(jīng)可以媲美中高級(jí)程序員的水平了，而且它的知識(shí)范疇遠(yuǎn)超人類最厲害的程序員

ChatGPT能夠根據(jù)對(duì)話生成人想要的內(nèi)容，這是AI巨大的突破，未來(lái)它的應(yīng)用之廣難以想象。

到此這篇關(guān)于ChatGPT 幫我自動(dòng)編寫 Python 爬蟲(chóng)腳本的文章就介紹到這了,更多相關(guān)ChatGPT自動(dòng)編寫 Python 爬蟲(chóng)腳本內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

您可能感興趣的文章: