Python爬取京東的商品分類與鏈接

更新時(shí)間：2016年08月26日 09:23:57 作者：Rookie_C

這篇文章主要介紹利用python爬取京東商品分類以及對應(yīng)的連接，這個(gè)功能不是很復(fù)雜，沒有爬取里面的隱藏的東西。算是給新手一個(gè)示例教程吧，有需要的可以參考借鑒。

前言

本文主要的知識點(diǎn)是使用Python的BeautifulSoup進(jìn)行多層的遍歷。

如圖所示。只是一個(gè)簡單的哈，不是爬取里面的隱藏的東西。

示例代碼

from bs4 import BeautifulSoup as bs
import requests
headers = {
  "host": "www.jd.com",
  "User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/47.0.2526.80 Safari/537.36 Core/1.47.933.400 QQBrowser/9.4.8699.400",
  "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8"
  }
session = requests.session()
def get_url():
  renspned = bs(session.get('http://www.jd.com/',headers = headers).text,'html.parser')
  for i in renspned.find("div", {"class": "dd-inner"}).find_all("a",{"target":"_blank"}):
    print(i.get_text(),':',i.get('href'))
get_url()

運(yùn)行這段代碼以及達(dá)到了我們的目的。

我們來解讀一下這段代碼。

首先我們要訪問到京東的首頁。

然后通過BeautifulSoup對訪問到的首頁進(jìn)行解析。

這個(gè)時(shí)候，我們就要定位元素，來獲取我們需要的東西了。

在瀏覽器中通過F12，我們可以看到下圖所示的東西：

我們來看看下面這句代碼：

for i in renspned.find("div", {"class": "dd-inner"}).find_all("a",{"target":"_blank"})

這一行代碼完全滿足我們的需求，首先用find方法，定位到了class=“dd-inner”的div，然后使用find_all對該標(biāo)簽下所有的a標(biāo)簽。

最后，我想打印出所有的商品分類以及對應(yīng)的鏈接，于是，我使用了i.get_text()和i.get('href')的方法終于獲取到了商品分類和對應(yīng)的鏈接。

總結(jié)

其實(shí)不是很難，主要是要用對方法。筆者因?yàn)槭浅鯇W(xué)方法沒有用對。花了差不多兩天時(shí)間才搞定。這里也是告訴大家，可以使用find().find_all()的方法進(jìn)行多層的遍歷。以上就是我利用Python爬取京東的商品分類與鏈接的一些經(jīng)驗(yàn)，希望對大家學(xué)習(xí)python能有所幫助。

您可能感興趣的文章:

相關(guān)文章

20行Python代碼實(shí)現(xiàn)一款永久免費(fèi)PDF編輯工具的實(shí)現(xiàn)
這篇文章主要介紹了20行Python代碼實(shí)現(xiàn)一款永久免費(fèi)PDF編輯工具的實(shí)現(xiàn)，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
2020-08-08
詳解Python如何實(shí)現(xiàn)查看WiFi密碼
這篇文章主要為大家詳細(xì)介紹了如何使用python來試試看看能不能讀取到已連接過WIFI的密碼,文中的示例代碼講解詳細(xì),?感興趣的小伙伴可以了解下
2023-11-11
Python中使用Boolean操作符做真值測試實(shí)例
這篇文章主要介紹了Python中使用Boolean操作符做真值測試實(shí)例,在Python中，任何類型的對象都可以做真值測試，并且保證返回True或者False,需要的朋友可以參考下
2015-01-01
關(guān)于pyinstaller生成.exe程序報(bào)錯(cuò):缺少.ini文件的分析
這篇文章主要介紹了關(guān)于pyinstaller生成.exe程序報(bào)錯(cuò):缺少.ini文件的分析，具有很好的參考價(jià)值，希望對大家有所幫助。如有錯(cuò)誤或未考慮完全的地方，望不吝賜教
2022-02-02
tkinter動(dòng)態(tài)顯示時(shí)間的兩種實(shí)現(xiàn)方法
這篇文章主要介紹了tkinter動(dòng)態(tài)顯示時(shí)間的兩種實(shí)現(xiàn)方法，具有很好的參考價(jià)值，希望對大家有所幫助。如有錯(cuò)誤或未考慮完全的地方，望不吝賜教
2023-01-01
python Flask 裝飾器順序問題解決
這篇文章主要介紹了python Flask 裝飾器順序問題解決，小編覺得挺不錯(cuò)的，現(xiàn)在分享給大家，也給大家做個(gè)參考。一起跟隨小編過來看看吧
2018-08-08
django之自定義軟刪除Model的方法
這篇文章主要介紹了django之自定義軟刪除Model的方法，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
2019-08-08
Python 爬蟲多線程詳解及實(shí)例代碼
這篇文章主要介紹了Python 爬蟲多線程詳解及實(shí)例代碼的相關(guān)資料,需要的朋友可以參考下
2016-10-10
python 讀寫中文json的實(shí)例詳解
這篇文章主要介紹了 python 讀寫中文json的實(shí)例詳解的相關(guān)資料,希望通過本文能幫助到大家，讓大家掌握這樣的內(nèi)容，需要的朋友可以參考下
2017-10-10
Python中使用gflags實(shí)例及原理解析
這篇文章主要介紹了Python中使用gflags實(shí)例及原理解析,文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下
2019-12-12