python 重定向獲取真實(shí)url的方法
樓主在做公司項(xiàng)目的時(shí)候遇到url重定向的問(wèn)題,因此上網(wǎng)簡(jiǎn)單查找,作出如下結(jié)果
由于使用的是語(yǔ)言是python所以以下是python的簡(jiǎn)單解決方案
http_headers = { 'Accept': '*/*','Connection': 'keep-alive', 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.116 Safari/537.36'}
def get_real_url(url):
rs = requests.get(url,headers=http_headers,timeout=10)
rs.url
以上代碼未有重試機(jī)制,下面加上重試機(jī)制加以完善
def get_real_url(url,try_count = 1): if try_count > 3: return url try: rs = requests.get(url,headers=http_headers,timeout=10) if rs.status_code > 400: return get_real_url(url,try_count+1) return rs.url except: return get_real_url(url, try_count + 1)
以上這篇python 重定向獲取真實(shí)url的方法就是小編分享給大家的全部?jī)?nèi)容了,希望能給大家一個(gè)參考,也希望大家多多支持腳本之家。
- python采集百度百科的方法
- Python爬蟲(chóng):url中帶字典列表參數(shù)的編碼轉(zhuǎn)換方法
- 解決安裝python3.7.4報(bào)錯(cuò)Can''''t connect to HTTPS URL because the SSL module is not available
- Python3模擬curl發(fā)送post請(qǐng)求操作示例
- python re正則匹配網(wǎng)頁(yè)中圖片url地址的方法
- Python2和Python3中urllib庫(kù)中urlencode的使用注意事項(xiàng)
- python爬蟲(chóng)之urllib3的使用示例
- python采集百度搜索結(jié)果帶有特定URL的鏈接代碼實(shí)例
相關(guān)文章
Python3多線程處理爬蟲(chóng)的實(shí)戰(zhàn)
本文主要介紹了Python3多線程處理爬蟲(chóng)的實(shí)戰(zhàn),文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2023-03-03
Python拆分Excel工作簿或工作表為多個(gè)文件的高效方法
在日常工作中,我們經(jīng)常需要處理包含大量數(shù)據(jù)的Excel文件,為了提高效率和準(zhǔn)確性,我們可以將一個(gè)Excel文件或其中某一個(gè)工作表按需求拆分為多個(gè)文件,本文將提供以下兩個(gè)示例介紹如何通過(guò)Python高效地拆分Excel工作簿或工作表,需要的朋友可以參考下2024-12-12
基于Python實(shí)現(xiàn)的百度貼吧網(wǎng)絡(luò)爬蟲(chóng)實(shí)例
這篇文章主要介紹了基于Python實(shí)現(xiàn)的百度貼吧網(wǎng)絡(luò)爬蟲(chóng),實(shí)例分析了Python實(shí)現(xiàn)網(wǎng)絡(luò)爬蟲(chóng)的相關(guān)技巧,非常具有實(shí)用價(jià)值,需要的朋友可以參考下2015-04-04
Python復(fù)數(shù)屬性和方法運(yùn)算操作示例
這篇文章主要介紹了Python復(fù)數(shù)屬性和方法運(yùn)算操作,結(jié)合實(shí)例形式分析了Python復(fù)數(shù)運(yùn)算相關(guān)操作技巧,代碼注釋備有詳盡說(shuō)明,需要的朋友可以參考下2017-07-07
python多進(jìn)程(加入進(jìn)程池)操作常見(jiàn)案例
這篇文章主要介紹了python多進(jìn)程(加入進(jìn)程池)操作,結(jié)合常見(jiàn)案例形式分析了Python多進(jìn)程復(fù)制文件、加入進(jìn)程池及多進(jìn)程聊天等相關(guān)操作技巧,需要的朋友可以參考下2019-10-10
Python-jenkins模塊獲取jobs的執(zhí)行狀態(tài)操作
這篇文章主要介紹了Python-jenkins模塊獲取jobs的執(zhí)行狀態(tài)操作,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2020-05-05
python實(shí)現(xiàn)楊輝三角的3種方法(迭代、生成器和遞歸)
這篇文章主要給大家介紹了關(guān)于python實(shí)現(xiàn)楊輝三角的3種方法,分別是迭代、生成器和遞歸的相關(guān)資料,楊輝三角形的規(guī)則就是每行的第一個(gè)數(shù)字和最后一個(gè)數(shù)字為1之外,其余每個(gè)數(shù)字等于上一行對(duì)應(yīng)兩個(gè)數(shù)字的和,需要的朋友可以參考下2023-11-11
淺談Pycharm最有必要改的幾個(gè)默認(rèn)設(shè)置項(xiàng)
今天小編就為大家分享一篇淺談Pycharm最有必要改的幾個(gè)默認(rèn)設(shè)置項(xiàng),具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2020-02-02
Keras保存模型并載入模型繼續(xù)訓(xùn)練的實(shí)現(xiàn)
這篇文章主要介紹了Keras保存模型并載入模型繼續(xù)訓(xùn)練的實(shí)現(xiàn),文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2021-02-02

