Python獲取當(dāng)前頁面內(nèi)所有鏈接的四種方法對比分析
更新時間：2017年08月19日 11:24:59 作者：羅兵
這篇文章主要介紹了Python獲取當(dāng)前頁面內(nèi)所有鏈接的方法,結(jié)合實(shí)例形式對比分析了Python常用的四種獲取頁面鏈接的方法,并附帶了iframe框架內(nèi)鏈接的獲取方法,需要的朋友可以參考下
本文實(shí)例講述了Python獲取當(dāng)前頁面內(nèi)所有鏈接的四種方法。分享給大家供大家參考，具體如下：
'''
得到當(dāng)前頁面所有連接
'''
import requests
import re
from bs4 import BeautifulSoup
from lxml import etree
from selenium import webdriver
url = 'http://www.testweb.com'
r = requests.get(url)
r.encoding = 'gb2312'
# 利用 re （太黃太暴力?。?
matchs = re.findall(r"(?<=href=\").+?(?=\")|(?<=href=\').+?(?=\')" , r.text)
for link in matchs:
print(link)
print()
# 利用 BeautifulSoup4 （DOM樹）
soup = BeautifulSoup(r.text,'lxml')
for a in soup.find_all('a'):
link = a['href']
print(link)
print()
# 利用 lxml.etree （XPath）
tree = etree.HTML(r.text)
for link in tree.xpath("http://@href"):
print(link)
print()
# 利用selenium（要開瀏覽器?。?
driver = webdriver.Firefox()
driver.get(url)
for link in driver.find_elements_by_tag_name("a"):
print(link.get_attribute("href"))
driver.close()
注意：若頁面中含有 iframe，則 iframe 內(nèi)所包含頁面的所有標(biāo)簽都無法用以上四種方法獲得！??！此時則要：
# 再打開所有iframe查找全部的a標(biāo)簽
for iframe in soup.find_all('iframe'):
url_ifr = iframe['src'] # 取得當(dāng)前iframe的src屬性值
rr = requests.get(url_ifr)
rr.encoding = 'gb2312'
soup_ifr = BeautifulSoup(rr.text,'lxml')
for a in soup_ifr.find_all('a'):
link = a['href']
m = re.match(r'http:\/\/.*?(?=\/)',link)
#print(link)
if m:
all_urls.add(m.group(0))
PS：這里再為大家提供2款非常方便的正則表達(dá)式工具供大家參考使用：
JavaScript正則表達(dá)式在線測試工具：
http://tools.jb51.net/regex/javascript
正則表達(dá)式在線生成工具：
http://tools.jb51.net/regex/create_reg
更多關(guān)于Python相關(guān)內(nèi)容可查看本站專題：《Python正則表達(dá)式用法總結(jié)》、《Python數(shù)據(jù)結(jié)構(gòu)與算法教程》、《Python函數(shù)使用技巧總結(jié)》、《Python字符串操作技巧匯總》、《Python入門與進(jìn)階經(jīng)典教程》及《Python文件與目錄操作技巧匯總》
希望本文所述對大家Python程序設(shè)計有所幫助。
相關(guān)文章
Python 進(jìn)程操作之進(jìn)程間通過隊列共享數(shù)據(jù)，隊列Queue簡單示例
這篇文章主要介紹了Python 進(jìn)程操作之進(jìn)程間通過隊列共享數(shù)據(jù)，隊列Queue,結(jié)合實(shí)例形式分析了Python進(jìn)程數(shù)據(jù)共享、隊列數(shù)據(jù)處理相關(guān)操作技巧,需要的朋友可以參考下2019-10-10
python shapely.geometry.polygon任意兩個四邊形的IOU計算實(shí)例
這篇文章主要介紹了python shapely.geometry.polygon任意兩個四邊形的IOU計算實(shí)例，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-04-04
python使用numpy尋找二維數(shù)組的最值及其下標(biāo)方法分析
這篇文章主要為大家介紹了python使用numpy尋找二維數(shù)組的最值及其下標(biāo)實(shí)現(xiàn)方法詳解,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪2023-08-08
大家好，本篇文章主要講的是用Python獲取亞馬遜商品信息，感興趣的同學(xué)趕快來看一看吧，對你有幫助的話記得收藏一下，方便下次瀏覽2022-01-01
pip 是 Python 的默認(rèn)包管理工具,隨 Python 3.x 版本一同安裝,它使得安裝和管理 Python 包變得非常簡單,本文將介紹 pip 的基本使用方法、常用命令及其代碼示例,需要的朋友可以參考下2024-12-12
今天小編就為大家分享一篇基于Django與ajax之間的json傳輸方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-05-05
OpenCV機(jī)器學(xué)習(xí)MeanShift算法筆記分享
這篇文章主要介紹了OpenCV機(jī)器學(xué)習(xí)MeanShift算法筆記分享，有需要的朋友可以借鑒參考下，希望可以對各位讀者的OpenCV算法學(xué)習(xí)能夠有所幫助2021-09-09
本文主要介紹了淺談numpy廣播機(jī)制，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2023-02-02
這篇文章主要為大家詳細(xì)介紹了如何利用Python編寫一個簡易的蹭WiFi的軟件，文中的示例代碼講解詳細(xì)，感興趣的小伙伴可以學(xué)習(xí)一下2023-06-06
Python基于Tkinter模塊實(shí)現(xiàn)的彈球小游戲
這篇文章主要介紹了Python基于Tkinter模塊實(shí)現(xiàn)的彈球小游戲,涉及Python圖形繪制、數(shù)值計算、判斷等相關(guān)操作技巧,需要的朋友可以參考下2018-12-12