Centos7 Python3下安裝scrapy的詳細步驟
苦逼的前夜
昨晚很辛苦，搞到晚上快兩點，最后還是沒有把python3下的scrapy框架安裝起來，后面還把yum這玩意給弄壞了，一直找不到命令。今天早上又自己弄了快一上午，又求助@函兮，弄了快一個中午，最后無奈還是沒有弄好yum跟python這玩意，最后還是放棄治療了。真的是什么招，什么損招都用完了，最后也沒折了，直接報告老大去，然后把阿里云的centos7實例重新磁盤回滾了一下。
正確的安裝姿勢
這個不多廢話，如果你是直接接手過來一個centos7的實例鏡像，當(dāng)然包括騰訊云或者阿里云上面的，只要按照下面的步驟進行安裝，沒有裝不上，只有裝得舒服，不到半小時，完完整整的裝好Python3，裝好Python3下的scrapy框架
步驟
前言：不用改掉系統(tǒng)python2.7 ，原來是python2.7，我們還進行python2.7的保留
1.編譯前準(zhǔn)備其他庫的安裝(使用sudo命令)
(1)
[root@hadron ~]# yum -y groupinstall "Development tools"
(2)
[root@hadron ~]# yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel xz-devel
(2)這里有點長，一定要復(fù)制完整了再進行回車，中途可能會報錯，提示會有：--skip-broken
可以使用命令：
[root@hadron ~]# yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel xz-devel --skip-broken
2 . 到這里我們就可以進行python3.5的源碼下載了
(1)使用wget命令：
[root@hadron ~]# wget https://www.python.org/ftp/python/3.5.5/Python-3.5.5.tgz
（2）然后解壓縮，進入根目錄
[root@hadron ~]# tar -zxvf Python-3.5.5.tgz [root@hadron ~]# cd Python-3.5.5/
（3）python3.5進行編譯安裝
[root@hadron ~]# ./configure --prefix=/usr/local/python3 [root@hadron ~]# make && make install
（4）創(chuàng)建Python3，pip3的軟鏈接
[root@hadron ~]# ln -s /usr/local/python3/bin/python3 /usr/bin/python3 [root@hadron ~]# ln -s /usr/local/python3/bin/pip3 /usr/bin/pip3
（5）驗證Python3 和pip3 是否安裝成功
[root@hadron ~]# python Python 2.7.5 (default, Nov 6 2016, 00:28:07) [GCC 4.8.5 20150623 (Red Hat 4.8.5-11)] on linux2 Type "help", "copyright", "credits" or "license" for more information. >>> quit() [root@hadron ~]# python3 Python 3.5.5 (default, Feb 27 2018, 09:28:49) [GCC 4.8.5 20150623 (Red Hat 4.8.5-11)] on linux Type "help", "copyright", "credits" or "license" for more information. >>> quit() [root@hadron ~]# [root@hadron ~]# pip3 --version pip 9.0.1 from /usr/local/python3/lib/python3.5/site-packages (python 3.5)
這里我們可以看到默認的python還是系統(tǒng)自帶的python2.7，而python3就是我們解壓的python3.5.5了，pip3 也是python3.5下的pip了。
上面我們已經(jīng)把python3跟pip3安裝好了，接下來，我們進行Python3下的Scrapy框架安裝
3 安裝Scrapy爬蟲框架
（1）安裝Scrapy
[root@hadron ~]# pip3 install scrapy Collecting scrapy Downloading Scrapy-1.5.0-py2.py3-none-any.whl (251kB) 100% |████████████████████████████████| 256kB 1.1MB/s Requirement already satisfied: lxml in /usr/local/python3/lib/python3.5/site-packages (from scrapy) Collecting PyDispatcher>=2.0.5 (from scrapy) Downloading PyDispatcher-2.0.5.tar.gz .... .... Collecting pycparser (from cffi>=1.7; platform_python_implementation != "PyPy"->cryptography>=2.1.4->pyOpenSSL->scrapy) Downloading pycparser-2.18.tar.gz (245kB) 100% |████████████████████████████████| 256kB 339kB/s Installing collected packages: PyDispatcher, zope.interface, constantly, incremental, six, attrs, Automat, hyperlink, Twisted, cssselect, w3lib, parsel, asn1crypto, pycparser, cffi, cryptography, pyOpenSSL, pyasn1, pyasn1-modules, service-identity, queuelib, scrapy Running setup.py install for PyDispatcher ... done Running setup.py install for Twisted ... done Running setup.py install for pycparser ... done Successfully installed Automat-0.6.0 PyDispatcher-2.0.5 Twisted-17.9.0 asn1crypto-0.24.0 attrs-17.4.0 cffi-1.11.4 constantly-15.1.0 cryptography-2.1.4 cssselect-1.0.3 hyperlink-18.0.0 incremental-17.5.0 parsel-1.4.0 pyOpenSSL-17.5.0 pyasn1-0.4.2 pyasn1-modules-0.2.1 pycparser-2.18 queuelib-1.4.2 scrapy-1.5.0 service-identity-17.0.0 six-1.11.0 w3lib-1.19.0 zope.interface-4.4.3 [root@hadron ~]#
在這里進行安裝的時候，我們可能會出現(xiàn)一串的報紅，一串的報紅。
很蛋疼的報紅信息
出現(xiàn)報紅不要緊，我們多試幾次pip3 install scrapy 就行了
（2）網(wǎng)絡(luò)好的話，試下不超過5次，應(yīng)該就會出現(xiàn)下面安裝成功的界面
成功安裝Scrapy的界面
（3）上面的圖也是驗證Scrapy框架安裝成功的界面，因為我們進行了import scrapy沒有進行報錯。
（4）創(chuàng)建Scrapy軟鏈接
[root@hadron ~]# ln -s /usr/local/python3/bin/scrapy /usr/bin/scrapy
（5）驗證Scrapy軟鏈接
[root@hadron ~]# scrapy -v Scrapy 1.5.0 - no active project
上面就是整個Python3下Scrapy框架的安裝步驟過程，基本上沒有bug。上面就是我對這不到半小時的安裝比對昨天一個晚上的安裝的心得體會，搜到好的文章，然后再繼續(xù)你的下一步。
以上就是本文的全部內(nèi)容，希望對大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。
相關(guān)文章
使用python?itertools實現(xiàn)計算雙十一滿減湊單
一年一度的雙十一又到了,在這樣一個日子中,可能遇到一些問題,首先是“湊單”問題,本文將使用python中的itertools庫解決這一問題,感興趣的可以了解下2024-11-11
這篇文章主要為大家詳細介紹了Python實現(xiàn)Kmeans聚類算法，文中示例代碼介紹的非常詳細，具有一定的參考價值，感興趣的小伙伴們可以參考一下2018-02-02
這篇文章主要為大家詳細介紹了Python辦公自動化中操控遠程桌面和文件版本控制的相關(guān)知識,文中的示例代碼講解詳細,感興趣的小伙伴可以了解下2024-01-01
Python答題卡識別并給出分?jǐn)?shù)的實現(xiàn)代碼
本文帶領(lǐng)大家學(xué)習(xí)Python答題卡識別并給出分?jǐn)?shù)的實現(xiàn)代碼，代碼實現(xiàn)思路清晰，簡單易懂，Python識別答題卡相關(guān)知識感興趣的朋友一起看看吧2021-06-06
這篇文章主要介紹了Tornado 多進程實現(xiàn)分析詳解，具有一定借鑒價值,需要的朋友可以參考下2018-01-01
python 定時器每天就執(zhí)行一次的實現(xiàn)代碼
這篇文章主要介紹了python 定時器每天就執(zhí)行一次的實現(xiàn)代碼，代碼簡單易懂非常不錯，具有一定的參考借鑒價值,需要的朋友可以參考下2019-08-08
python中協(xié)程實現(xiàn)TCP連接的實例分析
在本篇文章中我們給大家分享了python中協(xié)程實現(xiàn)TCP連接的代碼示例內(nèi)容，有需要的朋友們可以跟著學(xué)習(xí)下。2018-10-10
使用Python操作Excel中的各項頁面設(shè)置功能
在使用Excel進行數(shù)據(jù)分析或報告制作時,頁面設(shè)置是確保最終輸出效果專業(yè)、美觀的關(guān)鍵步驟,合理的頁面設(shè)置不僅能夠優(yōu)化打印效果,還能提升數(shù)據(jù)的可讀性,本文將詳細介紹如何使用Python操作Excel中的各項頁面設(shè)置功能,需要的朋友可以參考下2024-08-08
Python的datetime模塊是處理日期和時間的強大工具,datetime類可以獲取當(dāng)前時間、指定日期、計算時間差、訪問時間屬性及格式化時間,這些功能使得在Python中進行時間日期處理變得簡單高效,需要的朋友可以參考下2024-09-09
一篇文章告訴你如何用Python控制Excel實現(xiàn)自動化辦公
這篇文章主要介紹了教你怎么用Python處理excel實現(xiàn)自動化辦公,文中有非常詳細的代碼示例,對正在學(xué)習(xí)python的小伙伴們有非常好的幫助,需要的朋友可以參考下2021-08-08