python簡單爬蟲--get方式詳解

更新時間：2021年09月09日 11:18:27 作者：趙趙要加油啊

本篇文章介紹了python爬蟲中g(shù)et和post方法介紹以及cookie作用，對此有興趣的朋友學(xué)習(xí)下，希望能夠給你帶來幫助

環(huán)境準(zhǔn)備

安裝第三方庫

pip install requests
pip install bs4
pip install lxml

進(jìn)行爬蟲

1.獲取網(wǎng)頁數(shù)據(jù)。

import requests
from bs4 import BeautifulSoup
url = "https://cn.bing.com/search?q=爬蟲CSDN&qs=n&form=QBRE&sp=-1&pq=爬蟲csdn&sc=5-6&sk=&cvid=0B13B88D8F444A0182A4A6C36E463179/"
response = requests.get(self.url)

2.解析網(wǎng)頁數(shù)據(jù)

soup = BeautifulSoup(response.text, 'lxml')

3.選取目標(biāo)數(shù)據(jù)。此處key 依據(jù)源代碼目標(biāo)標(biāo)題的位置確定。首先進(jìn)入開發(fā)者模式，后查看目標(biāo)在html中的位置，右擊選擇“復(fù)制selector”，見下圖。

在這里插入圖片描述

key = "#b_results > li > div.b_title > h2 > a"
soup.select(key)

4.清洗數(shù)據(jù)

result = {}
for i, item in enumerate(data):
     result.update({
         f'title_{i}': item.get_text(),
         f'url_{i}': item.get('href')
     })
 print(result)

參考

鏈接:http://www.dhdzp.com/article/152560.htm

總結(jié)

本篇文章就到這里了，希望能夠給你帶來幫助，也希望您能夠多多關(guān)注腳本之家的更多內(nèi)容！

您可能感興趣的文章:

相關(guān)文章

Python?運算符Inplace?與Standard?
這篇文章主要介紹了Python?運算符Inplace?與Standard，nplace運算符的行為類似于普通運算符，只是它們在可變和不可變目標(biāo)的情況下以不同的方式運行
2022-09-09
Python 詳解爬取并統(tǒng)計CSDN全站熱榜標(biāo)題關(guān)鍵詞詞頻流程
讀萬卷書不如行萬里路，只學(xué)書上的理論是遠(yuǎn)遠(yuǎn)不夠的，只有在實戰(zhàn)中才能獲得能力的提升，本篇文章手把手帶你用Python爬取CSDN全站綜合熱榜標(biāo)題，順便統(tǒng)計關(guān)鍵詞詞頻,大家可以在過程中查缺補(bǔ)漏，提升水平
2021-11-11
python GUI庫圖形界面開發(fā)之PyQt5中QMainWindow, QWidget以及QDialog的區(qū)別和選擇
這篇文章主要介紹了python GUI庫圖形界面開發(fā)之PyQt5中QMainWindow, QWidget以及QDialog的區(qū)別和選擇,需要的朋友可以參考下
2020-02-02
使用Python實現(xiàn)監(jiān)控進(jìn)程是否有病毒
這篇文章主要為大家詳細(xì)介紹了如何使用Python實現(xiàn)監(jiān)控進(jìn)程是否有病毒,文中的示例代碼講解詳細(xì),感興趣的小伙伴可以跟隨小編一起學(xué)習(xí)一下
2024-02-02
本地文件上傳到七牛云服務(wù)器示例(七牛云存儲)
這篇文章主要介紹了使用PYTHON把本地文件上傳到七牛云服務(wù)的方法，開發(fā)環(huán)境是Python 2.7，大家參考使用吧
2014-01-01
在Pytorch中計算自己模型的FLOPs方式
今天小編就為大家分享一篇在Pytorch中計算自己模型的FLOPs方式，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
2019-12-12
Python命令行解析器argparse詳解
大家好，本篇文章主要講的是Python命令行解析器argparse詳解，感興趣的同學(xué)趕快來看一看吧，對你有幫助的話記得收藏一下，方便下次瀏覽
2022-01-01
python封裝對象實現(xiàn)時間效果
這篇文章主要為大家詳細(xì)介紹了python封裝對象實現(xiàn)時間效果，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價值，感興趣的小伙伴們可以參考一下
2010-10-10
關(guān)于pandas.DataFrame的類SQL操作
這篇文章主要介紹了關(guān)于pandas.DataFrame的類SQL操作方式,具有很好的參考價值,希望對大家有所幫助,
2023-08-08
Python Selenium參數(shù)配置方法解析
這篇文章主要介紹了Python Selenium參數(shù)配置方法解析,文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下
2020-01-01