Python檢測網(wǎng)站鏈接是否已存在
Python是一種解釋型、面向?qū)ο蟆討B(tài)數(shù)據(jù)類型的高級程序設(shè)計語言。
Python由Guido van Rossum于1989年底發(fā)明,第一個公開發(fā)行版發(fā)行于1991年。
像Perl語言一樣, Python 源代碼同樣遵循 GPL(GNU General Public License)協(xié)議。
早就聽說Python語言操作簡單,果然名不虛傳,短短幾句,就實(shí)現(xiàn)了基本的功能。
要檢測目標(biāo)網(wǎng)站上是否存在指定的URL,其實(shí)過程很簡單:
1、獲得指定網(wǎng)站網(wǎng)頁的HTML代碼
2、在HTML代碼中查找指定的URL
3、如果存在,OK;否則,Error
整個程序引用了兩個lib庫,urllib2和sgmllib。
urllib2庫主要定義了一些訪問URL(基本通過HTTP)的函數(shù)與類。
sgmllib庫主要負(fù)責(zé)解析HTML代碼。
import urllib
from sgmllib import SGMLParser
class URLLister(SGMLParser):
def reset(self):
SGMLParser.reset(self)
self.urls = []
def start_a(self,attrs):
href=[v for k,v in attrs if k=='href']
if href:
if (href[].count('http://網(wǎng)站URL')==):
self.urls.extend(href)
links = ['http://www.google.com/',
'http://www.baidu.com',
'http://www.sohu.net',
'http://www..com',
'http://www.cnblogs.com',
'http://www.qq.com',
'http://www.yahoo.com/',
'http://www.bing.com/',
'http://www..com',]
for eachlink in links:
f = urllib.urlopen(eachlink)
if f.code ==:
parser = URLLister()
parser.feed(f.read())
f.close()
if (len(parser.urls)>=):
print 'The link from '+eachlink+' is OK!'
else:
print 'The link from '+eachlink+' is ERROR!'
這其中幾個主要函數(shù):
1、urllib2.urlopen(url[, data][, timeout])//打開一個URL
2、SGMLParser.feed(data) //獲得需要解析的HTML數(shù)據(jù)
3、SGMLParser.start_tag(attributes) //指定需要解析的HTML標(biāo)簽,在本程序中,我們調(diào)用了start_a,說明我們需要解析HTML代碼中<a>標(biāo)簽。通過查找<a>標(biāo)簽中href屬性的value,可以獲得該網(wǎng)頁上所有鏈接的信息,只要我們指定的URL存在,就OK了。
這其實(shí)是一個很小的腳本,但也讓我激動不已。一來,我已經(jīng)跨進(jìn)了Python的世界,并用它解決了實(shí)際工作中的問題,二來,它的簡單語法、縮進(jìn)格式著實(shí)讓我眼前一亮。今后,希望能夠多多使用Python,解決實(shí)際工作中的種種問題,做到學(xué)以致用.
以上內(nèi)容是針對Python檢測網(wǎng)站鏈接是否已存在的相關(guān)介紹,希望對大家有所幫助!
相關(guān)文章
Python數(shù)據(jù)可視化Pyecharts庫實(shí)現(xiàn)桑葚圖效果
這篇文章主要介紹了Python數(shù)據(jù)可視化如何使用Pyecharts庫來實(shí)現(xiàn)桑葚圖效果圖,文中給出實(shí)現(xiàn)的示例代碼,有需要的朋友可以借鑒參考想,希望能夠有所幫助2021-09-09
分享一下Python數(shù)據(jù)分析常用的8款工具
Python是數(shù)據(jù)處理常用工具,可以處理數(shù)量級從幾K至幾T不等的數(shù)據(jù),具有較高的開發(fā)效率和可維護(hù)性,還具有較強(qiáng)的通用性和跨平臺性,這里就為大家分享幾個不錯的數(shù)據(jù)分析工具,需要的朋友可以參考下2018-04-04
使用python3 實(shí)現(xiàn)插入數(shù)據(jù)到mysql
今天小編就為大家分享一篇使用python3 實(shí)現(xiàn)插入數(shù)據(jù)到mysql,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧2020-03-03
計算機(jī)二級python學(xué)習(xí)教程(2) python語言基本語法元素
這篇文章主要為大家詳細(xì)介紹了計算機(jī)二級python學(xué)習(xí)教程的第2篇,Python語言基本語法元素,具有一定的參考價值,感興趣的小伙伴們可以參考一下2019-05-05
使用Python實(shí)現(xiàn)SSH隧道界面功能
這篇文章主要介紹了使用Python實(shí)現(xiàn)一個SSH隧道界面功能,界面使用tkinter實(shí)現(xiàn),左邊是輸入隧道的信息,右邊為歷史列表,本文通過示例代碼給大家介紹的非常詳細(xì),對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值,需要的朋友參考下吧2022-02-02
Python?dateutil庫簡化日期時間處理利器使用場景實(shí)踐
在Python中,處理日期和時間是常見的任務(wù)之一,dateutil庫是Python標(biāo)準(zhǔn)庫中datetime模塊的擴(kuò)展,提供了許多方便的工具和函數(shù),簡化了日期和時間的操作2023-12-12

