Python3環(huán)境安裝Scrapy爬蟲框架過程及常見錯(cuò)誤
Windows
•安裝lxml
最好的安裝方式是通過wheel文件來安裝，http://www.lfd.uci.edu/~gohlke/pythonlibs/，從該網(wǎng)站找到lxml的相關(guān)文件。假如是Python3.5版本，WIndows 64位系統(tǒng)，那就找到lxml‑3.7.2‑cp35‑cp35m‑win_amd64.whl 這個(gè)文件并下載，然后通過pip安裝。
下載之后，運(yùn)行如下命令安裝：
pip3 install wheel pip3 install lxml‑3.7.2‑cp35‑cp35m‑win_amd64.whl
即可完成lxml的安裝，其他文件替換文件名即可。
•安裝zope.interface
到官方網(wǎng)站https://pypi.python.org/pypi/zope.interface#downloads下載對(duì)應(yīng)版本的wheel文件，然后pip安裝。比如Python 3.5版本，Windows 64位系統(tǒng)，就下載zope.interface-4.3.3-cp35-cp35m-win_amd64.whl。
然后安裝wheel文件即可，命令如下：
pip3 install zope.interface-4.3.3-cp35-cp35m-win_amd64.whl
其他版本替換文件名即可。
•安裝pyOpenSSL
官方網(wǎng)站下載wheel文件，https://pypi.python.org/pypi/pyOpenSSL#downloads，如當(dāng)前最新版本名稱是pyOpenSSL-16.2.0-py2.py3-none-any.whl，下載后安裝即可。
pip3 install pyOpenSSL-16.2.0-py2.py3-none-any.whl
•安裝Twisted
同理，http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted下載wheel文件，利用pip安裝即可。
如Python 3.5版本，Windows 64位系統(tǒng)，下載
Twisted‑17.1.0‑cp35‑cp35m‑win_amd64.whl，然后pip安裝。
pip3 install Twisted‑17.1.0‑cp35‑cp35m‑win_amd64.whl
•安裝pywin32
從官方網(wǎng)站 https://sourceforge.net/projects/pywin32/files/pywin32/Build%20220/ 下載對(duì)應(yīng)版本的安裝包安裝即可。
•安裝Scrapy
最后安裝Scrapy即可，依然使用pip，命令如下：
pip3 install Scrapy
ps：下面看下Python 3.6 安裝scrapy報(bào)錯(cuò) Python.h: 沒有那個(gè)文件或目錄
安裝scrapy的時(shí)候報(bào)錯(cuò)，其實(shí)這個(gè)錯(cuò)誤是一個(gè)間接，由其依賴引起。
如果你是Python2.X
sudo apt-get install python-dev
如果是python3.6 以下的
sudo apt-get install python3-dev
如果是Python3.6的
sudo apt-get install python3.6-dev
最后一個(gè)好變態(tài),我一直在更新自己的Python3-dev 一直報(bào)錯(cuò),最后猜一下竟然真的有Python3.6-dev...心累.
總結(jié)
以上所述是小編給大家介紹的Python3環(huán)境安裝Scrapy爬蟲框架過程及常見錯(cuò)誤,希望對(duì)大家有所幫助，如果大家有任何疑問請(qǐng)給我留言，小編會(huì)及時(shí)回復(fù)大家的。在此也非常感謝大家對(duì)腳本之家網(wǎng)站的支持！
如果你覺得本文對(duì)你有幫助，歡迎轉(zhuǎn)載，煩請(qǐng)注明出處，謝謝！
相關(guān)文章
Python3中的列表,元組,字典,字符串相關(guān)知識(shí)小結(jié)
這篇文章主要介紹了Python3中的列表,元組,字典,字符串相關(guān)知識(shí)小結(jié)，小編覺得挺不錯(cuò)的，分享給大家，需要的朋友可以參考下。2017-11-11
python爬蟲之你好,李煥英電影票房數(shù)據(jù)分析
這篇文章主要介紹了python爬蟲之你好,李煥英電影票房數(shù)據(jù)分析,文中有非常詳細(xì)的代碼示例,對(duì)正在學(xué)習(xí)python爬蟲的小伙伴們有一定的幫助,需要的朋友可以參考下2021-04-04
下面小編就為大家分享一篇python 日志增量抓取實(shí)現(xiàn)方法，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2018-04-04
python通過裝飾器檢查函數(shù)參數(shù)數(shù)據(jù)類型的方法
這篇文章主要介紹了python通過裝飾器檢查函數(shù)參數(shù)數(shù)據(jù)類型的方法,涉及Python裝飾器的使用技巧,具有一定參考借鑒價(jià)值,需要的朋友可以參考下2015-03-03
基于Keras中Conv1D和Conv2D的區(qū)別說明
這篇文章主要介紹了基于Keras中Conv1D和Conv2D的區(qū)別說明，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2020-06-06
我用Python給班主任寫了一個(gè)自動(dòng)閱卷腳本(附源碼)
這篇文章主要介紹了如何用Python給寫了一個(gè)自動(dòng)閱卷腳本，本文給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2021-08-08
Python游戲開發(fā)實(shí)例之graphics實(shí)現(xiàn)AI五子棋
五子棋是經(jīng)典的棋牌類游戲，很多人都玩過，那么如何用Python實(shí)現(xiàn)五子棋呢，文中通過示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2021-11-11
Django Celery異步任務(wù)隊(duì)列的實(shí)現(xiàn)
這篇文章主要介紹了Django Celery異步任務(wù)隊(duì)列的實(shí)現(xiàn)，文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2019-07-07
Python的turtle模塊是一個(gè)直觀的圖形化編程工具,讓用戶通過控制海龜在屏幕上的移動(dòng)來繪制各種形狀和圖案,在接下來的文章中,我將通過一個(gè)生動(dòng)的例子——繪制一幅櫻花樹圖畫——來深入探討turtle模塊的實(shí)用性,需要的朋友可以參考下2024-04-04
使用Python判斷質(zhì)數(shù)(素?cái)?shù))的簡單方法講解
這篇文章主要介紹了使用Python判斷質(zhì)數(shù)(素?cái)?shù))的簡單方法講解,經(jīng)常被用來做科學(xué)計(jì)算的Python處理這種小問題當(dāng)然手到擒來^_-需要的朋友可以參考下2016-05-05