Go語言做爬蟲狀態(tài)碼返回418的問題解決
更新時間：2021年12月14日 10:47:13 作者：我的名字豌豆
在使用Go語言做爬蟲時，使用http.Get(url)去獲取網(wǎng)頁內(nèi)容，狀態(tài)碼返回404，本文我們就詳細(xì)的介紹一下解決方法，感興趣的可以了解一下
背景
?在使用Go語言做爬蟲時，使用http.Get(url)去獲取網(wǎng)頁內(nèi)容，狀態(tài)碼返回404，Body體為空。
原因分析
?http.Get(url)是不需要設(shè)置header屬性的http請求，比較簡單快捷，但狀態(tài)碼返回418，表明我們需要設(shè)置其header屬性，那么我們可以使用http.NewRequest，在設(shè)置其header屬性即可~
代碼部分
func main7() {
client := &http.Client{}
url := "https://movie.douban.com/top250?start=0&filter="
reqest, err := http.NewRequest("GET", url, nil)
//設(shè)置header屬性
reqest.Header.Add("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.130 Safari/537.36 OPR/66.0.3515.115")
if err!=nil {
fmt.Println(err)
return
}
response, _ := client.Do(reqest)
defer response.Body.Close()
buf := make([]byte,4096)
var result string
for {
n,err:=response.Body.Read(buf)
if n == 0 {
fmt.Println("讀取網(wǎng)頁完成")
break
}
if err!=nil && err!=io.EOF {
fmt.Println("resp body err",err)
return
}
result += string(buf[:n])
//打印讀取的網(wǎng)頁
fmt.Println(result)
}
}
到此這篇關(guān)于Go語言做爬蟲狀態(tài)碼返回418的問題解決的文章就介紹到這了,更多相關(guān)Go語言爬蟲返回418內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
相關(guān)文章
這篇文章主要為大家詳細(xì)介紹了Golang中for循環(huán)遍歷會出現(xiàn)的一些小坑以及對應(yīng)的解決辦法，文中的示例代碼講解詳細(xì)，感興趣的可以了解一下2023-05-05
這篇文章主要介紹了Go語言中函數(shù)的閉包使用示例,函數(shù)閉包closure是編程語言中十分重要的特性,需要的朋友可以參考下2016-03-03
在 Go 語言中，Context 包是一種非常常用的工具，它被用來管理 goroutine 之間的通信和取消。本文將深入探討Context 包的基本原理，包括使用場景、原理和一些最佳實踐，需要的可以參考下2023-05-05
Golang 中的 interface 是一種非常重要的特性，可以讓我們寫出更加靈活的代碼。在本篇文章中，我們將深入探討 Golang 中interface 的原理和使用技巧，感興趣的可以了解一下2023-04-04
Golang實現(xiàn)Json分級解析及數(shù)字解析實踐詳解
你是否遇到過在無法準(zhǔn)確確定json層級關(guān)系的情況下對json進(jìn)行解析的需求呢？本文就來和大家介紹一次解析不確定的json對象的經(jīng)歷，以及遇到的問題和解決方法2023-02-02
Go?1.21.0?新增結(jié)構(gòu)化日志記錄標(biāo)準(zhǔn)庫log/slog使用詳解
這篇文章主要為大家介紹了Go?1.21.0?新增結(jié)構(gòu)化日志記錄標(biāo)準(zhǔn)庫log/slog使用詳解,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪2023-11-11
GoLang并發(fā)機(jī)制探究goroutine原理詳細(xì)講解
goroutine是Go語言提供的語言級別的輕量級線程，在我們需要使用并發(fā)時，我們只需要通過 go 關(guān)鍵字來開啟 goroutine 即可。這篇文章主要介紹了GoLang并發(fā)機(jī)制goroutine原理，感興趣的可以了解一下2022-12-12
defer是golang中用的比較多的一個關(guān)鍵字，也是go面試題里經(jīng)常出現(xiàn)的問題。今天就來整理一下關(guān)于defer的學(xué)習(xí)使用，希望對需要的朋友有所幫助2022-09-09
etcd是近幾年比較火熱的一個開源的、分布式的鍵值對數(shù)據(jù)存儲系統(tǒng)，提供共享配置、服務(wù)的注冊和發(fā)現(xiàn)，本文主要介紹etcd的安裝和使用，感興趣的可以了解一下2021-09-09
這篇文章主要為大家介紹了Go語言sort包函數(shù)使用示例，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪2022-06-06