Python爬蟲學習之翻譯小程序

更新時間：2019年07月30日 15:07:46 作者：羅思洋

這篇文章主要為大家詳細介紹了Python爬蟲學習之翻譯小程序，文中示例代碼介紹的非常詳細，具有一定的參考價值，感興趣的小伙伴們可以參考一下

本次博客分享的內(nèi)容為基于有道在線翻譯實現(xiàn)一個實時翻譯小程序，本次任務是參考小甲魚的書《零基礎入門學習Python》完成的，書中代碼對于當前的有道詞典并不適用，使用后無法實現(xiàn)翻譯功能，在網(wǎng)上進行學習之后解決了這一問題。

2、前置工作

1）由于有道在線翻譯是“反爬蟲”的，所以在編寫該程序的時候需要使用到User-Agent，通過使用request模塊中的headers參數(shù)，對它進行適當?shù)脑O置就可以將程序訪問偽裝為瀏覽器訪問，有兩種方法可以添加headers參數(shù)，我使用的方法是通過add_header（）方法往Request對象中添加headers參數(shù)；

2）我使用的是360瀏覽器，獲取它User-Agent的方法是在地址欄中輸入about：version即可，結(jié)果如下圖：

3)在獲得該參數(shù)后還需要獲取有道翻譯的data數(shù)據(jù)，首先先打開有道翻譯界面，然后打開其審查元素，點擊netwoek，然后在翻譯框內(nèi)輸入word點擊翻譯，找到如下圖所示的位置：

4）一直往下滑動，就可以找到data參數(shù)，在編程時的設置就需要按照這里來完成，如下圖：

其中在headers中需要設置的Referer及User-Agent也在上圖中可以找到。

3、任務代碼

在程序的編寫中需要使用到許多python模塊，包括urllib、json 、time等等。

對于urllib在上一篇博客中已經(jīng)用到了，它的作用是一個高級的 web 交流庫，其核心功能就是模仿web瀏覽器等客戶端，去請求相應的資源，并返回一個類文件對象。

json是一種輕量級的數(shù)據(jù)交換格式，易于人閱讀和編寫，我們需要使用json.loads 解碼 json數(shù)據(jù)。

time是用于獲取當前時間戳并延遲提交數(shù)據(jù)，延遲提交數(shù)據(jù)雖然會降低工作效率，但是也降低了ip被網(wǎng)頁拉黑的風險。

具體的代碼如下圖所示：

import urllib.request #導入urllib.request庫
import urllib.parse #導入urllib.parse庫
import json #導入json庫
import time #導入time庫
import random #導入random庫
import hashlib #導入hashlib庫
url = "http://fanyi.youdao.com/translate_o?smartresult=dict&smartresult=rule" #有道翻譯的網(wǎng)址
while True: #定義死循環(huán)
 fanyi = input("請輸入想要翻譯的內(nèi)容:") #用戶輸入想要翻譯的內(nèi)容
 #設置API接口
 a = 'fanyideskweb'   #設置client
 b = fanyi    #需要翻譯的內(nèi)容
 c = str(int(time.time() * 1000)+ random.randint(1, 10)) #當前時間戳
 d = 'rY0D^0\'nM0}g5Mm1z%1G4'   #加密字符
 sign = hashlib.md5((a +b +c + d).encode('utf - 8')).hexdigest() #根據(jù)內(nèi)容進行md5加密
 #設置data，按照網(wǎng)頁審查元素設置即可
 data = {}
 data['i'] = fanyi
 data['from'] = 'AUTO'
 data['to'] = 'AUTO'
 data['smartresult'] = 'dict'
 data['client'] = 'fanyideskweb'
 data['salt'] = c
 data['sign'] = sign
 data['doctype'] = 'json'
 data['version'] = '2.1'
 data['keyform'] = 'fanyi.web'
 data['action'] = 'FY_BY_CLICKBUTTION'
 data['typoResult'] = 'true'
 data = urllib.parse.urlencode(data).encode('utf - 8') #urlencode轉(zhuǎn)換data數(shù)據(jù)并編碼為utf-8碼
 req = urllib.request.Request(url, data)  #指定網(wǎng)頁，包含url、data和head
 #偽造瀏覽器訪問
 req.add_header('Referer','http://fanyi.youdao.com')
 req.add_header('User - Agent','Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36 QIHU 360SE')
 response = urllib.request.urlopen(req)  #post方式打開指定網(wǎng)頁
 html = response.read()   #讀取網(wǎng)頁信息
 html = html.decode('utf - 8')  #將utf-8碼解碼為unicode碼
 target = json.loads(html)   #把json頁面轉(zhuǎn)換為一個字典
 print("翻譯結(jié)果: %s" % (target['translateResult'][0][0]['tgt'])) #輸出
 time.sleep(5) #延遲提交數(shù)據(jù)

運行結(jié)果如下圖所示：