python爬蟲_自動(dòng)獲取seebug的poc實(shí)例
簡單的寫了一個(gè)爬取www.seebug.org上poc的小玩意兒~
首先我們進(jìn)行一定的抓包分析
我們遇到的第一個(gè)問題就是seebug需要登錄才能進(jìn)行下載,這個(gè)很好處理,只需要抓取返回值200的頁面,將我們的headers信息復(fù)制下來就行了
(這里我就不放上我的headers信息了,不過headers里需要修改和注意的內(nèi)容會(huì)在下文講清楚)
headers = {
'Host':******,
'Connection':'close',
'Accept':******,
'User-Agent':******,
'Referer':'https://www.seebug.org/vuldb/ssvid-',
'Accept-Language':'zh-CN,zh;q=0.8',
'Cookie':***********
}
由上所知,我們的中點(diǎn)就是referer這一項(xiàng),是我們后面要進(jìn)行修改的
那么怎么去修改這個(gè)呢?
我先進(jìn)行點(diǎn)擊下載鏈接抓包發(fā)現(xiàn),seebug的poc下載鏈接特別的整齊:
'https://www.seebug.org/vuldb/downloadPoc/xxxxx',
后面只需要加上一個(gè)五位數(shù)就行,而且五位數(shù)是連號(hào)的哦!
這就一目了然,我更改了五位數(shù)再次進(jìn)行請求時(shí)發(fā)現(xiàn),并沒有返回美麗的200狀態(tài)碼,瞄了一眼header,發(fā)現(xiàn)了referer這一項(xiàng):
'Referer':'https://www.seebug.org/vuldb/ssvid-xxxxx'
也就是說referer這一項(xiàng)的五位數(shù)字也要隨之變化,這樣我們的get請求頭部就完成了
接下來是線程的問題
使用了queue和threading進(jìn)行多線程處理,發(fā)現(xiàn)我們不能圖快,不然會(huì)被反爬蟲發(fā)現(xiàn)
于是導(dǎo)入time增加time.sleep(1),能有一秒的休眠就行了,線程數(shù)給了2個(gè)(這樣看來好像線程的意義并不大,不過也就這么寫啦)
# coding=utf-8
import requests
import threading
import Queueimport time
headers = {
******
}
url_download = 'https://www.seebug.org/vuldb/downloadPoc/'
class SeeBugPoc(threading.Thread):
def __init__(self,queue):
threading.Thread.__init__(self)
self._queue = queue
def run(self):
while not self._queue.empty():
url_download = self._queue.get_nowait()
self.download_file(url_download)
def download_file(self,url_download):
r = requests.get(url = url_download,headers = headers)
print r.status_code
name = url_download.split('/')[-1]
print name
if r.status_code == 200:
f = open('E:/poc/'+name+'.txt','w')
f.write(r.content)
f.close()
print 'it ok!'
else:
print 'what fuck !'
time.sleep(1)
'''
def get_html(self,url):
r = requests.get(url = url,headers = headers)
print r.status_code
print time.time()
'''
def main():
queue = Queue.Queue()
for i in range(93000,93236):
headers['Referer'] = 'https://www.seebug.org/vuldb/ssvid-'+str(i)
queue.put('https://www.seebug.org/vuldb/downloadPoc/'+str(i))
#queue用來存放設(shè)計(jì)好的url,將他們放入一個(gè)隊(duì)列中,以便后面取用
threads = []
thread_count = 2
for i in range(thread_count):
threads.append(SeeBugPoc(queue))
for i in threads:
i.start()
for i in threads:
i.join()
if __name__ == '__main__':
main()
代碼如上
控制下載的range()中的兩個(gè)五位數(shù),大家只要去seebug庫中找一找想要掃描的庫的開頭和結(jié)尾編碼的五位數(shù)就行了(也就是他們的編號(hào))
關(guān)于返回的狀態(tài)碼,如果項(xiàng)目不提供poc下載、poc下載不存在、poc需要兌換幣才能下載,就不能夠返回正常的200啦(非正常:404/403/521等)
當(dāng)然,如果一直出現(xiàn)521,可以考慮刷新網(wǎng)頁重新獲取header并修改代碼
最后進(jìn)行一個(gè)狀態(tài)碼的判斷,并且將200的文件寫出來就好了
(
表示慚愧感覺自己寫的很簡單
如果大家發(fā)現(xiàn)錯(cuò)誤或者有疑惑可以留言討論哦
)
以上這篇python爬蟲_自動(dòng)獲取seebug的poc實(shí)例就是小編分享給大家的全部內(nèi)容了,希望能給大家一個(gè)參考,也希望大家多多支持腳本之家。
相關(guān)文章
python利用re,bs4,requests模塊獲取股票數(shù)據(jù)
這篇文章主要介紹了python利用re,bs4,requests模塊獲取股票數(shù)據(jù),文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2019-07-07
python數(shù)字圖像處理之高級(jí)形態(tài)學(xué)處理
這篇文章主要介紹了python數(shù)字圖像處理之高級(jí)形態(tài)學(xué)處理,小編覺得挺不錯(cuò)的,現(xiàn)在分享給大家,也給大家做個(gè)參考。一起跟隨小編過來看看吧2018-04-04
Python連接SQL Server數(shù)據(jù)庫并實(shí)時(shí)讀取數(shù)據(jù)
在Python中,可以使用pyodbc庫來連接SQL Server數(shù)據(jù)庫,并使用pandas庫來進(jìn)行數(shù)據(jù)處理,下面我們就來講講如何實(shí)時(shí)讀取SQL Server數(shù)據(jù)庫表,并將數(shù)據(jù)寫入Excel文件,需要的可以參考下2023-12-12
django傳值給模板, 再用JS接收并進(jìn)行操作的實(shí)例
今天小編就為大家分享一篇django傳值給模板, 再用JS接收并進(jìn)行操作的實(shí)例,具有很好的參考價(jià)值,希望對大家有所幫助。一起跟隨小編過來看看吧2018-05-05
python3使用騰訊企業(yè)郵箱發(fā)送郵件的實(shí)例
今天小編就為大家分享一篇python3使用騰訊企業(yè)郵箱發(fā)送郵件的實(shí)例,具有很好的參考價(jià)值,希望對大家有所幫助。一起跟隨小編過來看看吧2019-06-06
解決pycharm回車之后不能換行或不能縮進(jìn)的問題
今天小編就為大家分享一篇解決pycharm回車之后不能換行或不能縮進(jìn)的問題,具有很好的參考價(jià)值,希望對大家有所幫助。一起跟隨小編過來看看吧2019-01-01

