python爬取淘寶商品銷(xiāo)量信息
更新時(shí)間：2018年11月16日 15:03:31 作者：平步青云win
這篇文章主要為大家詳細(xì)介紹了python爬取淘寶商品的銷(xiāo)量信息，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下
python爬取淘寶商品銷(xiāo)量的程序，運(yùn)行程序，輸入想要爬取的商品關(guān)鍵詞，在代碼中的‘###'可以進(jìn)一步約束商品的屬性，比如某某作者的書(shū)籍，可以在###處輸入作者名字，以及時(shí)期等等。最后可以得到所要商品的總銷(xiāo)量
import requests
import bs4
import re
import json
def open(keywords, page):
headers={"User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36"}
payload = {'q':keywords, 'sort':"sale-desc", 's':(page-1)*44}
url = "https://s.taobao.com/search"
res = requests.get(url, params = payload)
return res
def get_item(res):
g_page_config = re.search(r'g_page_config = (.*?);\n', res.text)
page_config_json = json.loads(g_page_config.group(1))
page_item = page_config_json['mods']['itemlist']['data']['auctions']
result = []#整理出我們關(guān)注的信息(ID,標(biāo)題，鏈接，售價(jià)，銷(xiāo)量和商家)
for each in page_item:
dict1 = dict.fromkeys(('id','title','link','price','sale','shoper'))
dict1['id'] = each['nid']
dict1['title'] = each['title']
dict1['link'] = each['detail_url']
dict1['price'] = each['view_price']
dict1['sale'] = each['view_sales']
dict1['shoper'] = each['nick']
result.append(dict1)
return result
def count_sales(items):
count = 0
for each in items:
if '###' in each['title']:#規(guī)定只取標(biāo)題中‘###'的商品
count += int(re.search(r'\d+',each['sale']).group())
return count
def main():
keywords = input("請(qǐng)輸入搜索關(guān)鍵詞：")#可以為各種商品名稱(chēng)
length = 10#淘寶商品頁(yè)數(shù)
total = 0
for each in range(length):
res = open(keywords, each+1)
items = get_item(res)
total += count_sales(items)#銷(xiāo)售總量
print(total)
if __name__ == "__main__":
main()
以上就是本文的全部?jī)?nèi)容，希望對(duì)大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。
相關(guān)文章
這篇文章主要介紹了Python字典實(shí)現(xiàn)偽切片功能,本文通過(guò)實(shí)例圖文相結(jié)合給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2020-10-10
本文主要給大家介紹了下Python的一些內(nèi)置字符串的方法，包括概覽，字符串大小寫(xiě)轉(zhuǎn)換，字符串格式輸出，字符串搜索定位與替換，字符串的聯(lián)合與分割，字符串條件判斷，字符串編碼2016-03-03
Python機(jī)器學(xué)習(xí)庫(kù)scikit-learn入門(mén)開(kāi)發(fā)示例
scikit-learn是一個(gè)開(kāi)源Python語(yǔ)言機(jī)器學(xué)習(xí)工具包，它涵蓋了幾乎所有主流機(jī)器學(xué)習(xí)算法的實(shí)現(xiàn)，并且提供了一致的調(diào)用接口。它基于Numpy和scipy等Python數(shù)值計(jì)算庫(kù)，提供了高效的算法實(shí)現(xiàn)2022-07-07
python實(shí)現(xiàn)拓?fù)渑判虻姆椒ú襟E
拓?fù)渑判蚴菍?duì)有向無(wú)環(huán)圖進(jìn)行排序的一種算法,本文主要介紹了python實(shí)現(xiàn)拓?fù)渑判虻姆椒ú襟E,具有一定的參考價(jià)值,感興趣的可以了解一下2024-03-03
Python?SQLAlchemy與數(shù)據(jù)庫(kù)交互操作完整指南
SQLAlchemy 是一個(gè)強(qiáng)大的 Python 庫(kù)，用于數(shù)據(jù)庫(kù)操作，無(wú)論是簡(jiǎn)單的數(shù)據(jù)存儲(chǔ)還是復(fù)雜的數(shù)據(jù)管理，SQLAlchemy 都提供了多種方法來(lái)處理數(shù)據(jù)庫(kù)，本文將全面介紹 SQLAlchemy的基本用法以及各種操作的示例代碼2024-01-01
這篇文章主要為大家詳細(xì)介紹了Python如何通過(guò)循環(huán)進(jìn)行刪除重復(fù)文件,從而達(dá)到文件查重功能,文中的示例代碼講解詳細(xì),需要的小伙伴可以參考下2024-12-12
一文帶你了解CNN(卷積神經(jīng)網(wǎng)絡(luò))
CNN是神經(jīng)網(wǎng)絡(luò)中的一種，它的權(quán)值共享網(wǎng)絡(luò)結(jié)構(gòu)使之更類(lèi)似于生物神經(jīng)網(wǎng)絡(luò)，降低了網(wǎng)絡(luò)模型的復(fù)雜度，減少了權(quán)值的數(shù)量。本文主要講解了CNN(卷積神經(jīng)網(wǎng)絡(luò))的基礎(chǔ)內(nèi)容，想了解更多的小伙伴可以看一看這篇文章2021-09-09
Python如何利用xlrd和xlwt模塊操作Excel表格
這篇文章主要給大家介紹了關(guān)于Python如何利用xlrd和xlwt模塊操作Excel表格的相關(guān)資料,其中xlrd模塊實(shí)現(xiàn)對(duì)excel文件內(nèi)容讀取,xlwt模塊實(shí)現(xiàn)對(duì)excel文件的寫(xiě)入,需要的朋友可以參考下2022-03-03
這篇文章主要介紹了Python tkinter和exe打包的方法，本文給大家介紹的非常詳細(xì)，具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2020-02-02
這篇文章主要介紹了Apache,wsgi,django 程序部署配置方法,結(jié)合實(shí)例形式詳細(xì)分析了Linux環(huán)境下Apache,wsgi,django程序部署配置的相關(guān)操作技巧與注意事項(xiàng),需要的朋友可以參考下2019-07-07