Python 獲取div標簽中的文字實例
預備知識點
compile 函數(shù)
compile 函數(shù)用于編譯正則表達式,生成一個正則表達式( Pattern )對象,供 match() 和 search() 這兩個函數(shù)使用。
語法格式為:
re.compile(pattern[, flags]) .compile(pattern[, flags])
參數(shù):
pattern : 一個字符串形式的正則表達式
flags 可選,表示匹配模式,比如忽略大小寫,多行模式等,具體參數(shù)為:
re.I 忽略大小寫
re.L 表示特殊字符集 \w, \W, \b, \B, \s, \S 依賴于當前環(huán)境
re.M 多行模式
re.S 即為' . '并且包括換行符在內(nèi)的任意字符(' . '不包括換行符)
re.U 表示特殊字符集 \w, \W, \b, \B, \d, \D, \s, \S 依賴于 Unicode 字符屬性數(shù)據(jù)庫
re.X 為了增加可讀性,忽略空格和' # '后面的注釋
檢索和替換
Python 的re模塊提供了re.sub用于替換字符串中的匹配項。
語法:
re.sub(pattern, repl, string, count=0) .sub(pattern, repl, string, count=0)
參數(shù):
pattern : 正則中的模式字符串。
repl : 替換的字符串,也可為一個函數(shù)。
string : 要被查找替換的原始字符串。
count : 模式匹配后替換的最大次數(shù),默認 0 表示替換所有的匹配。
Python中字符串前面加上 r 表示原生字符串, 與大多數(shù)編程語言相同,正則表達式里使用"\"作為轉(zhuǎn)義字符,這就可能造成反斜杠困擾。假如你需要匹配文本中的字符"\",那么使用編程語言表示的正則表達式里將需要4個反斜杠"\\\\":前兩個和后兩個分別用于在編程語言里轉(zhuǎn)義成反斜杠,轉(zhuǎn)換成兩個反斜杠后再在正則表達式里轉(zhuǎn)義成一個反斜杠。Python里的原生字符串很好地解決了這個問題,這個例子中的正則表達式可以使用r"\\"表示。同樣,匹配一個數(shù)字的"\\d"可以寫成r"\d"。有了原生字符串,你再也不用擔心是不是漏寫了反斜杠,寫出來的表達式也更直觀。
思路整理:
在編程過程中遇到的部分問題在這里寫出來和大家共享
問題1:在編程過程中成功獲取了目標的名字,但是它存在于div框架中,我們要做的就是將div中的文字與標簽分開,在這里我們用的是正則表達式
問題2:
上代碼:
<span style="color:#000000"># -*- coding: UTF-8 -*-
import requests
import time
import re
from bs4 import BeautifulSoup
from urllib.request import urlretrieve
if __name__ == '__main__':
list_url = []
url = 'https://www.names.org/n/kevin/about'
#設置請求頭信息
headers = {
"User-Agent":"Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36"
}
req = requests.get(url=url,headers=headers)
req.encoding='utf-8'
html=req.text
bf = BeautifulSoup(html,'html.parser')
targets_url_1 = bf.find_all(class_='container page-section')
bf = BeautifulSoup(str(targets_url_1),'html.parser')
targets_url_2 = bf.find_all(class_='name')
#保存名字鏈接
for each in targets_url_2:
list_url.append(re.sub('[\t\n]',"",re.sub(r'<[^>]+>',"",str(each))))
f = open('test.txt', 'w') #首先先創(chuàng)建一個文件對象,打開方式為w
for each in list_url:
f.writelines(each) #用readlines()方法寫入文件
f.writelines('\n')
print(list_url)
print('下載完成!')
</span>
以上這篇Python 獲取div標簽中的文字實例就是小編分享給大家的全部內(nèi)容了,希望能給大家一個參考,也希望大家多多支持腳本之家。
相關文章
使用python進行nc轉(zhuǎn)tif的3種情況解決
在進行氣候分析時,很多人都會用到ERA5數(shù)據(jù),下面這篇文章主要給大家介紹了關于如何使用python進行nc轉(zhuǎn)tif的3種情況的解決方法,文中通過實例代碼介紹的非常詳細,需要的朋友可以參考下2022-03-03
Python3中l(wèi)ambda表達式與函數(shù)式編程講解
今天小編就為大家分享一篇關于Python3中l(wèi)ambda表達式與函數(shù)式編程講解,小編覺得內(nèi)容挺不錯的,現(xiàn)在分享給大家,具有很好的參考價值,需要的朋友一起跟隨小編來看看吧2019-01-01
python3.4下django集成使用xadmin后臺的方法
本篇文章主要介紹了python3.4下django集成使用xadmin后臺的方法,具有一定的參加價值,有興趣的可以了解一下2017-08-08
Python下實現(xiàn)的RSA加密/解密及簽名/驗證功能示例
這篇文章主要介紹了Python下實現(xiàn)的RSA加密/解密及簽名/驗證功能,結(jié)合具體實例形式分析了Python中RSA加密、解密的實現(xiàn)方法及簽名、驗證功能的使用技巧,需要的朋友可以參考下2017-07-07
Python獲取暗黑破壞神3戰(zhàn)網(wǎng)前1000命位玩家的英雄技能統(tǒng)計
這篇文章主要介紹了Python獲取暗黑3戰(zhàn)網(wǎng)前1000命位玩家的英雄技能統(tǒng)計的方法,借助urllib2模塊以類似爬蟲的機制來實現(xiàn),需要的朋友可以參考下2016-07-07
caffe的python接口deploy生成caffemodel分類新的圖片
這篇文章主要為大家介紹了caffe的python接口生成deploy文件學習以及用訓練好的模型(caffemodel)來分類新的圖片示例詳解,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進步,早日升職加薪2022-06-06
python中readline判斷文件讀取結(jié)束的方法
這篇文章主要介紹了python中readline判斷文件讀取結(jié)束的方法,實例形式詳細分析了Python中readline的用法,需要的朋友可以參考下2014-11-11

