安裝scrapy框架并測試全過程
安裝scrapy框架并測試
這是個系列文章，主要是能讓大家快速的的做出一個小項目，主要是我現(xiàn)在在做計算機設(shè)計大賽，想把做過的東西記錄下來，后續(xù)我會將整個計設(shè)的項目的制作過程寫出來分享給大家。其中包括Django、mysql數(shù)據(jù)庫、前端等。
這些文章主要是記錄具體操作過程，具體的知識內(nèi)容還請去刷視頻，這里不做過多解釋。
安裝scrapy框架
在終端里先后運行這個語句即可安裝
pip install wheel pip install scrapy
在終端里輸入scrapy即可驗證是否安裝成功，以下是沒有安裝前的情況。
以下是安裝過后驗證的情況
這樣就說明安裝成功了。
我們需要在pycharm終端里創(chuàng)建一個工程
代碼如下：
scrapy startproject comment（comment為你的工程名稱）
創(chuàng)建成功如下
（這里注意，有些同學(xué)創(chuàng)建不成功報錯的，需要在pycharm終端里再次執(zhí)行pip install scrapy）
緊接著執(zhí)行下面提示的兩段代碼來創(chuàng)建我們的爬蟲主文件
cd comment
注意這里的example.com我們需要換成自己的起始url （這里隨便設(shè)一個就好，這個不影響我們的任務(wù)）
scrapy genspider news（這里的news為爬蟲文件名稱）www.xxx.com
然后配置成如下的形式
注意這里的allowed_domains可以注釋掉，對我們的任務(wù)沒有太大的影響。start_urls里的url換成我們需要請求的網(wǎng)址。（這里我就用騰訊新聞的主頁來測試了）
在此之前我們需要在settings.py文件里完成如下配置：
然后在終端輸入以下代碼來運行爬蟲文件：
scrapy crawl news
運行成功！
這樣測試就完成了，可以進行后續(xù)的任務(wù)了。
總結(jié)
以上為個人經(jīng)驗，希望能給大家一個參考，也希望大家多多支持腳本之家。
相關(guān)文章
Python中內(nèi)置函數(shù)filter函數(shù)用法詳解
filter()函數(shù)是Python內(nèi)置的另一個有用的高階函數(shù),filter()函數(shù)接收一個函數(shù)f和一個序列,函數(shù)f的作用是對每個元素進行判斷,返回True或False,下面這篇文章主要給大家介紹了關(guān)于Python中內(nèi)置函數(shù)filter函數(shù)用法的相關(guān)資料,需要的朋友可以參考下2024-05-05
這篇文章主要介紹了Django使用unittest模塊進行單元測試過程解析,文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下2019-08-08
Pycharm連接遠(yuǎn)端Python環(huán)境操作Spark過程
遠(yuǎn)程連接方案通過SSH配置PyCharm連接CentOS服務(wù)器,統(tǒng)一環(huán)境避免差異,自動同步代碼至遠(yuǎn)程工作目錄,并映射pyspark等工具包,提升開發(fā)效率與一致性2025-07-07
這篇文章主要介紹了python安裝cx_Oracle模塊常見問題與解決方法,舉例分析了Python在Windows平臺與Linux平臺安裝cx_Oracle模塊常見問題、解決方法及相關(guān)注意事項,需要的朋友可以參考下2017-02-02
這篇文章主要介紹了基于Python 的語音重采樣函數(shù)解析，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-07-07
windows10下python3.5 pip3安裝圖文教程
這篇文章主要為大家詳細(xì)介紹了windows10下python3.5 pip3安裝圖文教程，注意區(qū)分python 2.x和python 3.x的相關(guān)命令，具有一定的參考價值，感興趣的小伙伴們可以參考一下2018-04-04
Python自帶了tkinter模塊,實質(zhì)上是一種流行的面向?qū)ο蟮腉UI工具包?TK?的Python編程接口,提供了快速便利地創(chuàng)建GUI應(yīng)用程序的方法,下面這篇文章主要給大家介紹了關(guān)于python圖形界面教程Tkinter的相關(guān)資料,需要的朋友可以參考下2022-12-12
Python數(shù)據(jù)分析與處理(二)——處理中國地區(qū)信息
這篇文章主要介紹了Python數(shù)據(jù)分析與處理-處理中國地區(qū)信息，上文介紹了北京高考分?jǐn)?shù)線統(tǒng)計分析，這篇文章依然圍繞Python數(shù)據(jù)分析與處理的相關(guān)資料來介紹處理中國地區(qū)信息,需要的朋友可以參考一下2021-12-12
Python機器學(xué)習(xí)之基于Pytorch實現(xiàn)貓狗分類
看了許多關(guān)于PyTorch的入門文章,大抵是從torchvision.datasets中自帶的數(shù)據(jù)集進行訓(xùn)練,導(dǎo)致很難把PyTorch運用于自己的數(shù)據(jù)集上,真正地靈活運用PyTorch,本文詳細(xì)介紹了怎么利用Pytorch實現(xiàn)貓狗分類,需要的朋友可以參考下2021-06-06
Python學(xué)習(xí)筆記之變量與轉(zhuǎn)義符
這篇文章主要介紹了Python學(xué)習(xí)筆記之變量與轉(zhuǎn)義符，本文從零開始學(xué)習(xí)Python,知識點很細(xì),有共同目標(biāo)的小伙伴可以一起來學(xué)習(xí)2023-03-03