golang抓取網(wǎng)頁(yè)并分析頁(yè)面包含的鏈接方法
1. 下載非標(biāo)準(zhǔn)的包,"golang.org/x/net/html"
2. 先安裝git，使用git命令下載
git clone https://github.com/golang/net
3. 將net包，放到GOROOT路徑下
比如：
我的是：GOROOT = E:\go\
所以最終目錄是：E:\go\src\golang.org\x\net
注意：如果沒(méi)有g(shù)olang.org和x文件夾，就創(chuàng)建
4. 創(chuàng)建fetch目錄，在其下創(chuàng)建main.go文件，main.go文件代碼內(nèi)容如下：
package main
import (
"os"
"net/http"
"fmt"
"io/ioutil"
)
func main() {
for _, url := range os.Args[1:] {
resp, err := http.Get(url)
if err != nil {
fmt.Fprintf(os.Stderr, "fetch: %v\n", err)
}
b, err := ioutil.ReadAll(resp.Body)
resp.Body.Close()
if err != nil {
fmt.Fprintf(os.Stderr, "fetch: reading %s: %v\n", url, err)
os.Exit(1)
}
fmt.Printf("%s",b)
}
}
5. 編譯fetch
go build test.com\justin\demo\fetch
注意：test.com\justin\demo\ 是我的項(xiàng)目路徑，具體編譯根據(jù)自己項(xiàng)目路徑編譯。
6. 執(zhí)行fetch.exe 文件
fetch.exe https://www.qq.com
注意：https://www.qq.com是要爬的網(wǎng)址，配置正確的話，會(huì)打印出網(wǎng)址的HTML內(nèi)容。如果沒(méi)有，請(qǐng)檢查以上步驟是否正確。
7. 網(wǎng)頁(yè)已經(jīng)抓取了，那么剩下就分析頁(yè)面包含的鏈接了，創(chuàng)建findlinks目錄，在其下創(chuàng)建main.go文件，main.go文件代碼內(nèi)容如下：
package main
import (
"os"
"fmt"
"golang.org/x/net/html"
)
func main() {
doc, err := html.Parse(os.Stdin)
if err != nil {
fmt.Fprint(os.Stderr, "findlinks: %v\n", err)
os.Exit(1)
}
for _, link := range visit(nil, doc) {
fmt.Println(link)
}
}
func visit(links []string, n *html.Node) []string {
if n.Type == html.ElementNode && n.Data == "a" {
for _, a := range n.Attr {
if a.Key == "href" {
links = append(links, a.Val)
}
}
}
for c := n.FirstChild; c != nil; c = c.NextSibling {
links = visit(links, c)
}
return links
}
8. 編譯findlinks
go build test.com\justin\demo\findlinks
注意：test.com\justin\demo\ 是我的項(xiàng)目路徑，具體編譯根據(jù)自己項(xiàng)目路徑編譯。
9. 執(zhí)行findlinks.exe 文件
fetch.exe https://www.qq.com | findlinks.exe
> 10. 執(zhí)行后結(jié)果：獲取到各種不同形式的超鏈接
以上這篇golang抓取網(wǎng)頁(yè)并分析頁(yè)面包含的鏈接方法就是小編分享給大家的全部?jī)?nèi)容了，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。
相關(guān)文章
淺析Go語(yǔ)言bitset的實(shí)現(xiàn)原理
bitset包是一個(gè)將非負(fù)整數(shù)映射到布爾值的位的集合，這篇文章主要通過(guò)開(kāi)源包bitset來(lái)為大家分析一下位集合的設(shè)計(jì)和實(shí)現(xiàn)，感興趣的可以學(xué)習(xí)一下2023-08-08
Go語(yǔ)言日志內(nèi)聚復(fù)用及gjson踩坑記錄分享
這篇文章主要為大家介紹了Go語(yǔ)言日志內(nèi)聚復(fù)用及gjson踩坑記錄分享，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪2022-06-06
用gin開(kāi)發(fā)的golang項(xiàng)目三種開(kāi)發(fā)模式方式
這篇文章主要介紹了用gin開(kāi)發(fā)的golang項(xiàng)目三種開(kāi)發(fā)模式方式,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2024-01-01
關(guān)于Go語(yǔ)言讀寫(xiě)文件，網(wǎng)上很多教程了，但是今天有個(gè)需求，想要把內(nèi)容追加寫(xiě)到文件末尾，在網(wǎng)上找了很久才找到答案，現(xiàn)在分享給大家，有需要的可以參考借鑒。2016-09-09
這篇文章主要介紹了golang中for range的取地址操作陷阱，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2021-04-04
這篇文章主要為大家詳細(xì)介紹了如何利用Golang實(shí)現(xiàn)快速求冪，文中的示例代碼講解詳細(xì)，對(duì)我們學(xué)習(xí)或工作有一定參考價(jià)值，需要的可以參考一下2022-06-06
解決golang結(jié)構(gòu)體tag編譯錯(cuò)誤的問(wèn)題
這篇文章主要介紹了解決golang結(jié)構(gòu)體tag編譯錯(cuò)誤的問(wèn)題，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2021-05-05
這篇文章主要介紹了Go語(yǔ)言中常量定義方法,以實(shí)例形式分析了Go語(yǔ)言中常量的定義及使用技巧,具有一定參考借鑒價(jià)值,需要的朋友可以參考下2015-02-02
Golang語(yǔ)言的多種變量聲明方式與使用場(chǎng)景詳解
Golang當(dāng)中的變量類型和C/C++比較接近,一般用的比較多的也就是int,float和字符串,下面這篇文章主要給大家介紹了關(guān)于Golang語(yǔ)言的多種變量聲明方式與使用場(chǎng)景的相關(guān)資料,需要的朋友可以參考下2022-02-02
這篇文章主要為大家介紹了golang defer執(zhí)行順序全面詳解,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪2023-09-09