python網(wǎng)絡(luò)爬蟲采集聯(lián)想詞示例

更新時(shí)間：2014年02月11日 10:03:47 作者：

這篇文章主要介紹了python網(wǎng)絡(luò)爬蟲采集聯(lián)想詞示例,需要的朋友可以參考下

python爬蟲_采集聯(lián)想詞代碼

#coding:utf-8
import urllib2
import urllib
import re
import time
from random import choice
#特別提示，下面這個(gè)list中的代理ip可能失效，請(qǐng)換上有效的代理ip
iplist = ['27.24.158.153:81','46.209.70.74:8080','60.29.255.88:8888']

list1 = ["集團(tuán)","科技"]
for item in list1:
    ip= choice(iplist)
    gjc = urllib.quote(item)
    url = "http://sug.so.#/suggest/word?callback=suggest_so&encodein=utf-8&encodeout=utf-8&word="+gjc
    headers = {
                "GET":url,
                "Host":"sug.so.#",
                "Referer":"http://www.so.com/",
                "User-Agent":"sMozilla/5.0 (Macintosh; Intel Mac OS X 10_8_4) AppleWebKit/537.17 (KHTML, like Gecko) Chrome/24.0.1312.56 Safari/537.17",
                }

proxy_support = urllib2.ProxyHandler({'http':'http://'+ip})

    opener = urllib2.build_opener(proxy_support)
    urllib2.install_opener( opener )
    req = urllib2.Request(url)

    for key in headers:
        req.add_header(key,headers[key])

    html = urllib2.urlopen(req).read()

    ss = re.findall("\"(.*?)\"",html)
    for item in ss:
        print item
    time.sleep(2)

您可能感興趣的文章:

相關(guān)文章

python使用pyplot繪制橫軸為時(shí)間的圖
介紹了如何在Python中使用matplotlib庫(kù)進(jìn)行繪圖,并處理字符串日期格式轉(zhuǎn)換為date對(duì)象以及自定義x軸日期顯示格式的方法,首先,導(dǎo)入必要的環(huán)境和繪圖方法,其次,處理橫坐標(biāo)數(shù)組,將字符串型的日期轉(zhuǎn)換成date對(duì)象,以便用于繪圖
2024-09-09
Python著名游戲?qū)崙?zhàn)之方塊連接我的世界
讀萬(wàn)卷書不如行萬(wàn)里路，學(xué)的扎不扎實(shí)要通過(guò)實(shí)戰(zhàn)才能看出來(lái)，本篇文章手把手帶你模仿著名游戲——我的世界,大家可以在過(guò)程中查缺補(bǔ)漏，看看自己掌握程度怎么樣
2021-10-10
python隨機(jī)數(shù)分布random均勻分布實(shí)例
今天小編就為大家分享一篇python隨機(jī)數(shù)分布random均勻分布實(shí)例，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧
2019-11-11
python使用socket向客戶端發(fā)送數(shù)據(jù)的方法
這篇文章主要介紹了python使用socket向客戶端發(fā)送數(shù)據(jù)的方法,涉及Python使用socket實(shí)現(xiàn)數(shù)據(jù)通信的技巧,非常具有實(shí)用價(jià)值,需要的朋友可以參考下
2015-04-04
Python中apply函數(shù)的用法實(shí)例教程
這篇文章主要介紹了Python中apply函數(shù)的用法,配合實(shí)例解說(shuō),可加深讀者對(duì)apply函數(shù)的理解,需要的朋友可以參考下
2014-07-07
python繼承threading.Thread實(shí)現(xiàn)有返回值的子類實(shí)例
這篇文章主要介紹了python繼承threading.Thread實(shí)現(xiàn)有返回值的子類實(shí)例，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧
2020-05-05
Python lxml解析HTML并用xpath獲取元素的方法
今天小編就為大家分享一篇Python lxml解析HTML并用xpath獲取元素的方法，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧
2019-01-01
Python版的文曲星猜數(shù)字游戲代碼
最近開始研究python，于是寫了個(gè)Python版的文曲星猜數(shù)字游戲，喜歡的朋友可以參考下
2013-09-09
python查詢mysql中文亂碼問(wèn)題
本文主要是解決python2.7在查詢mysql時(shí)產(chǎn)生中文亂碼的處理方法，非常的有用，親測(cè)可行，推薦給大家
2014-11-11
快速一鍵生成Python爬蟲請(qǐng)求頭
這篇文章主要介紹了如何快速一鍵生成Python爬蟲請(qǐng)求頭，幫助大家更好的理解和學(xué)習(xí)使用python爬蟲，感興趣的朋友可以了解下
2021-03-03