詳解python3 + Scrapy爬蟲學(xué)習(xí)之創(chuàng)建項(xiàng)目
最近準(zhǔn)備做一個(gè)關(guān)于scrapy框架的實(shí)戰(zhàn)，爬取騰訊社招信息并存儲(chǔ)，這篇博客記錄一下創(chuàng)建項(xiàng)目的步驟
pycharm是無(wú)法創(chuàng)建一個(gè)scrapy項(xiàng)目的
因此，我們需要用命令行的方法新建一個(gè)scrapy項(xiàng)目
請(qǐng)確保已經(jīng)安裝了scrapy，twisted，pypiwin32
一：進(jìn)入你所需要的路徑，這個(gè)路徑存儲(chǔ)你創(chuàng)建的項(xiàng)目
我的將放在E盤的Scrapy目錄下
二：創(chuàng)建項(xiàng)目：scrapy startproject ***(這個(gè)是項(xiàng)目名)
這樣就創(chuàng)建好了一個(gè)名為tencent的項(xiàng)目
三：進(jìn)入項(xiàng)目新建一個(gè)爬蟲：scrapy genspider tencent_spider hr.tencent.com
這里我們要注意，上面的命令，加黑的是爬蟲名稱，斜體是域名
這樣，我們就新建了一個(gè)爬蟲項(xiàng)目，打開文件夾查看
打開spiders
然后我們用pycharm打開
點(diǎn)擊File —>open，找到項(xiàng)目所在文件夾，打開即可
這樣，我們就新建了一個(gè)scrapy項(xiàng)目，如果安裝了所需要的庫(kù)，scrapy飄紅，記得去切換解釋器
在File—>settings的標(biāo)紅的地方
另外推薦大家，在根目錄下新建一個(gè)start.py的文件并寫入
from scrapy import cmdline
cmdline.execute("scrapy crawl tencent_spider".split())
這樣，我們每次運(yùn)行，運(yùn)行start.py，即可，不用到命令行執(zhí)行運(yùn)行命令
鼠標(biāo)右鍵tencent，新建python文件，即可創(chuàng)建。
以上所述是小編給大家介紹的python3 Scrapy爬蟲創(chuàng)建項(xiàng)目詳解整合，希望對(duì)大家有所幫助，如果大家有任何疑問(wèn)請(qǐng)給我留言，小編會(huì)及時(shí)回復(fù)大家的。在此也非常感謝大家對(duì)腳本之家網(wǎng)站的支持！
相關(guān)文章
這篇文章主要介紹了Python多版本安裝與Jupyter Lab使用方式,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2024-01-01
這篇文章主要介紹了python多進(jìn)程間通信代碼實(shí)例,文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2019-09-09
這篇文章主要介紹了Python中對(duì)字典的幾個(gè)處理方法分享，文章圍繞主題展開詳細(xì)的內(nèi)容介紹，具有一定的參考價(jià)值，感興趣的小伙伴可以參考一下2022-08-08
Tensorflow 自帶可視化Tensorboard使用方法(附項(xiàng)目代碼)
這篇文章主要介紹了Tensorflow 自帶可視化Tensorboard使用方法(附項(xiàng)目代碼)，小編覺得挺不錯(cuò)的，現(xiàn)在分享給大家，也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧2018-02-02
python Pandas中數(shù)據(jù)的合并與分組聚合
大家好，本篇文章主要講的是python Pandas中數(shù)據(jù)的合并與分組聚合，感興趣的同學(xué)趕快來(lái)看一看吧，對(duì)你有幫助的話記得收藏一下2022-01-01
這篇文章主要介紹了Python函數(shù)裝飾器,結(jié)合實(shí)例形式詳細(xì)分析了Python裝飾器的原理、功能、分類、常見操作技巧與使用注意事項(xiàng),需要的朋友可以參考下2021-10-10
Python十類常見異常類型總結(jié)(附捕獲及異常處理方式)
在編寫程序時(shí)難免會(huì)遇到錯(cuò)誤,有的是編寫人員疏忽造成的語(yǔ)法錯(cuò)誤,有的是程序內(nèi)部隱含邏輯問(wèn)題造成的數(shù)據(jù)錯(cuò)誤等等,這篇文章主要給大家介紹了關(guān)于Python十類常見異常類型總結(jié)的相關(guān)資料,文中還附捕獲及異常處理方式,需要的朋友可以參考下2023-06-06
在python 中split()使用多符號(hào)分割的例子
今天小編就為大家分享一篇在python 中split()使用多符號(hào)分割的例子，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2019-07-07
Django drf使用Django自帶的用戶系統(tǒng)的注冊(cè)功能
本文主要介紹了Django drf使用Django自帶的用戶系統(tǒng)的注冊(cè)功能，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2023-02-02
這篇文章主要介紹了Python圖像灰度變換及圖像數(shù)組操作的相關(guān)資料,需要的朋友可以參考下2016-01-01