利用python的socket發(fā)送http(s)請求方法示例
更新時間：2018年05月07日 11:00:47 作者：Garrick
這篇文章主要給大家介紹了關(guān)于利用python的socket發(fā)送http(s)請求的相關(guān)資料，文中通過示例代碼介紹的非常詳細(xì)，對大家學(xué)習(xí)或者使用python具有一定的參考學(xué)習(xí)價值，需要的朋友們下面來一起看看吧
前言
這是個在寫計算機(jī)網(wǎng)絡(luò)課設(shè)的時候碰到的問題，卡了我一天，所以總結(jié)一下。
其實在之前就有用requests寫過python爬蟲，但是計算機(jī)網(wǎng)絡(luò)要求更底層的實現(xiàn)，剛好我看到了[這篇文章]1結(jié)果發(fā)現(xiàn)他就是用socket來實現(xiàn)的請求，所以就學(xué)習(xí)了。
本來也覺得應(yīng)該不難，畢竟就是建立tcp連接。
原網(wǎng)站的例子如下：
def fetch(url):
sock = socket.socket() # 建立socket
sock.connect(('xkcd.com', 80)) # 遠(yuǎn)程連接
request = 'GET {} HTTP/1.0\r\nHost: xkcd.com\r\n\r\n'.format(url) # 構(gòu)建請求
sock.send(request.encode('ascii')) # 向socket發(fā)送數(shù)據(jù)
response = b''
chunk = sock.recv(4096) # 從socket接收數(shù)據(jù)
while chunk:
response += chunk
chunk = sock.recv(4096)
# Page is now downloaded.
links = parse_links(response)
q.add(links)
我選擇爬取的網(wǎng)站是鏈家，當(dāng)然也看了很多其他例子,還用fiddler抓包，把headers整個放了上去，首先是參考了這個文章：https://segmentfault.com/a/1190000005126160 ，該文章介紹到：
Python通過socket發(fā)送http請求
我們以訪問百度主頁為案例，使用socket發(fā)送http請求。
import socket
s=socket.socket(socket.AF_INET,socket.SOCK_STREAM)
s.connect(('www.baidu.com',80))
s.send('''GET https://www.baidu.com/ HTTP/1.1
Host: www.baidu.com
Connection: keep-alive
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8
Upgrade-Insecure-Requests: 1
User-Agent: Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.101 Safari/537.36
Accept-Language: zh-CN,zh;q=0.8
''')
buf=s.recv(1024)
while len(buf):
print buf
buf = s.recv(1024)
基于socket進(jìn)行http編程在于請求參數(shù)的可控性更好，但是難度相應(yīng)就更大了。以上發(fā)送的數(shù)據(jù)是直接從fiddler抓包器里面復(fù)制的。
基于以上，寫出如下代碼：
s=socket.socket(socket.AF_INET,socket.SOCK_STREAM)
s.connect(('www.baidu.com',80))
s.send('''GET / HTTP/1.1
Host: zh.lianjia.com
Connection: keep-alive
Cache-Control: max-age=0
Upgrade-Insecure-Requests: 1
User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.139 Safari/537.36
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8
Referer: https://www.baidu.com/link?url=4J5Kx--GLdLFESJhkfRePU8Ac_0agnTcOtB-b3kfnX8VNdZ_6TPqOyJGKVXkTczg&ck=6140.3.83.296.315.287.208.155&shh=www.baidu.com&sht=94886267_hao_pg&wd=&eqid=af98b98700060b77000000065aef0524
Accept-Encoding: gzip, deflate, br
Accept-Language: zh-CN,zh;q=0.9,en-CA;q=0.8,en;q=0.7
Cookie: lianjia_uuid=ce61c41c-25b0-46d6-a0a0-d57a75ee8706; UM_distinctid=1631f588055f9-0286722badd3ec-b34356b-1fa400-1631f58805657f; _ga=GA1.2.43397143.1525239286; _smt_uid=5ae94e02.558be516; _jzqx=1.1525248800.1525335927.1.jzqsr=zh%2Elianjia%2Ecom|jzqct=/ershoufang/xiangzhouqu/.-; _jzqc=1; _jzqckmp=1; _gid=GA1.2.1028411676.1525594529; select_city=440400; all-lj=c60bf575348a3bc08fb27ee73be8c666; _qzjc=1; CNZZDATA1254525948=963210960-1525238218-https%253A%252F%252Fwww.lianjia.com%252F%7C1525608956; CNZZDATA1255633284=1054798284-1525238580-https%253A%252F%252Fwww.lianjia.com%252F%7C1525608969; lianjia_ssid=c046ddb3-3e66-4809-998a-52ade335fdfc; _qzja=1.1070225156.1525239298260.1525603274282.1525613866775.1525609113492.1525613866775.0.0.0.92.9; _qzjto=29.3.0; _jzqa=1.3750161754444366000.1525239284.1525603274.1525613867.9; _jzqy=1.1525239284.1525613867.3.jzqsr=baidu.jzqsr=baidu; Hm_lvt_9152f8221cb6243a53c83b956842be8a=1525607433,1525607626,1525609113,1525613867; Hm_lpvt_9152f8221cb6243a53c83b956842be8a=1525613867; _qzjb=1.1525613866775.1.0.0.0; _jzqb=1.1.10.1525613867.1; CNZZDATA1255604082=964175865-1525237915-https%253A%252F%252Fwww.lianjia.com%252F%7C1525612833
''')
結(jié)果總是報400(Bad Request) ，這個地方卡了很久，最后解決辦法是一條一條發(fā)送，每一條后面加\r\n。
sock = socket.socket()
sock.connect(('zh.lianjia.com', 80))
sock.send('GET /ershoufang/ HTTP/1.1\r\n'.encode())
sock.send('Host: zh.lianjia.com\r\n'.encode())
sock.send('Connection: keep-alive\r\n'.encode())
sock.send('Cache-Control: no-cache\r\n'.encode())
sock.send('Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8\r\n'.encode())
sock.send('Upgrade-Insecure-Requests: 1\r\n'.encode())
sock.send('User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.139 Safari/537.36\r\n'.encode())
sock.send('Accept-Encoding: gzip, deflate, br\r\n'.encode())
sock.send('Cookie: lianjia_uuid=ce61c41c-25b0-46d6-a0a0-d57a75ee8706; UM_distinctid=1631f588055f9-0286722badd3ec-b34356b-1fa400-1631f58805657f; _ga=GA1.2.43397143.1525239286; _smt_uid=5ae94e02.558be516; _jzqx=1.1525248800.1525335927.1.jzqsr=zh%2Elianjia%2Ecom|jzqct=/ershoufang/xiangzhouqu/.-; _jzqc=1; _jzqy=1.1525239284.1525594526.2.jzqsr=baidu.jzqsr=baidu|jzqct=%E9%93%BE%E5%AE%B6; _jzqckmp=1; _gid=GA1.2.1028411676.1525594529; Hm_lvt_9152f8221cb6243a53c83b956842be8a=1525594526,1525594536,1525594804,1525595210; select_city=440400; all-lj=c60bf575348a3bc08fb27ee73be8c666; _qzjc=1; lianjia_ssid=99306d63-8ee5-a53c-a740-2d3021f3db2f; CNZZDATA1255604082=964175865-1525237915-https%253A%252F%252Fwww.lianjia.com%252F%7C1525602095; _jzqa=1.3750161754444366000.1525239284.1525594526.1525603274.8; CNZZDATA1254525948=963210960-1525238218-https%253A%252F%252Fwww.lianjia.com%252F%7C1525603556; CNZZDATA1255633284=1054798284-1525238580-https%253A%252F%252Fwww.lianjia.com%252F%7C1525603557; Hm_lpvt_9152f8221cb6243a53c83b956842be8a=1525606057; _jzqb=1.9.10.1525603274.1; _qzja=1.1070225156.1525239298260.1525597069547.1525603274282.1525605398368.1525606071025.0.0.0.86.8; _qzjb=1.1525603274282.9.0.0.0; _qzjto=23.2.0\r\n\r\n'.encode())
結(jié)果總是重定向，狀態(tài)碼301！找了好久都不知道什么原因，而且直接在瀏覽器網(wǎng)址欄輸入網(wǎng)址，用fiddler抓包也沒有抓到狀態(tài)為301的包。最后使用fiddler的composer輸入http://zh.lianjia.com/ershoufang 就抓到了301和200，其中200的地址就是https://zh.lianjia.com/ershoufang，如下圖所示。
這下知道原因了，是http和https的區(qū)別。(其實301狀態(tài)碼的時候應(yīng)答部分的Location可以觀察到，但是一個s太不顯眼了所以我沒有注意到，導(dǎo)致卡了很久)
接下來只要知道如何發(fā)送https請求就好了。下面是代碼，主要是更改建立socket和連接的部分。注意端口號為443。參考文章在這里
sock = ssl.wrap_socket(socket.socket())
sock.connect(('zh.lianjia.com', 443))
感覺自己很多地方了解的不夠深入，暫時學(xué)校也沒有講到應(yīng)用層。到時候再研究研究，如有錯漏歡迎指出。
總結(jié)
以上就是這篇文章的全部內(nèi)容了，希望本文的內(nèi)容對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，如果有疑問大家可以留言交流，謝謝大家對腳本之家的支持。
相關(guān)文章
今天小編就為大家分享一篇Python實現(xiàn)判斷一行代碼是否為注釋的方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-05-05
這篇文章主要介紹了python爬取知乎回復(fù)，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2019-05-05
利用Python批量壓縮png方法實例（支持過濾個別文件與文件夾）
這篇文章主要給大家介紹了關(guān)于利用Python批量壓縮png的相關(guān)資料，文中介紹的方法支持過濾個別文件與文件夾，文中通過示例代碼介紹的非常詳細(xì)，需要的朋友們下面跟著小編來一起看看吧。2017-07-07
python的virtualenv虛擬環(huán)境常見問題和命令
在Python中,venv是一個用于創(chuàng)建和管理虛擬環(huán)境的模塊,虛擬環(huán)境可以幫助你在項目之間隔離不同的Python包和依賴關(guān)系,這篇文章主要介紹了python的virtualenv虛擬環(huán)境常見問題和命令,需要的朋友可以參考下2024-07-07
Python繪圖之自定義圖類型控件實現(xiàn)混合類型圖表
這篇文章主要為大家詳細(xì)介紹了Python如何新建繪圖類型控件,實現(xiàn)混合類型圖表,文中的示例代碼講解詳細(xì),感興趣的小伙伴可以跟隨小編一起學(xué)習(xí)一下2023-08-08
這篇文章主要介紹了Python環(huán)境下搭建屬于自己的pip源的教程,同時也附帶講解了修改pip源設(shè)定的方法,需要的朋友可以參考下2016-05-05
這篇文章主要介紹了Django掃碼抽獎平臺,本文給大家介紹的非常詳細(xì)，對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值，需要的朋友可以參考下2021-01-01
python使用tkinter實現(xiàn)自定義多參數(shù)對話框
Tkinter模塊是Python標(biāo)準(zhǔn)庫中的一部分,用于創(chuàng)建圖形用戶界面（GUI）應(yīng)用程序,它提供了一組工具和組件,用于創(chuàng)建窗口、按鈕、文本框等用戶界面元素,并且可以響應(yīng)用戶的輸入,本文將給大家講講python如何使用tkinter實現(xiàn)自定義多參數(shù)對話框2023-08-08
今天小編就為大家分享一篇python指定寫入文件時的編碼格式方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-06-06
解決Django migrate No changes detected 不能創(chuàng)建表的問題
今天小編就為大家分享一篇解決Django migrate No changes detected 不能創(chuàng)建表的問題，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-05-05