python中urllib模塊用法實例詳解

更新時間：2014年11月19日 11:29:06 投稿：shichen2014

這篇文章主要介紹了python中urllib模塊用法,以實例形式詳細分析了python中urllib模塊代替PHP的curl操作方法,具有不錯的借鑒價值,需要的朋友可以參考下

本文實例講述了python中urllib模塊用法。分享給大家供大家參考。具體分析如下：

一、問題：

近期公司項目的需求是根據(jù)客戶提供的api，我們定時去獲取數(shù)據(jù)，之前的方案是用php收集任務(wù)存入到redis隊列，然后在linux下做一個常駐進程跑某一個php文件，該php文件就一個無限循環(huán)，判斷redis隊列，有就執(zhí)行，沒有就break.

二、解決方法：

最近剛好學(xué)了一下python, python的urllib模塊或許比php的curl更快，而且簡單. 貼一下代碼

復(fù)制代碼代碼如下:

#_*_ coding:utf-8 _*_

import sys

reload(sys)

sys.setdefaultencoding( "utf-8" )

import os

import json

from urllib import urlopen

doc = urlopen("http://xxxx?webid=1&tid=901&cateid=101").read()

doc = json.loads(doc)

print doc

print doc.keys()

print doc["msg"]

print doc['data']

print doc['ret']

發(fā)現(xiàn)第一次訪問所需要的時間為[Finished in 3.0s]
而第二次訪問的時間為[Finished in 0.2s]
可見python的urllib模塊是加有緩存的
urllib/2用法典型的例子

復(fù)制代碼代碼如下:

    import urllib2
    import cookielib
    import urllib

    class Hi_login:
        def __init__(self):
            cookie = cookielib.CookieJar()
            self.cookie = urllib2.HTTPCookieProcessor(cookie) ##### 生成cookie ###

        def login(self,user,pwd):
            url='http://passport.baidu.com/?login'
            postdata=urllib.urlencode({
          'mem_pass':'on',

          'password':pwd
           'Submit':'',
          'tpl':'sp',
          'tp_reg':'sp',
          'u' :'http://hi.baidu.com',
          'username':user})
            ### proxy_support = urllib2.ProxyHandler({"http":"http://ahad-haam:3128"}) 然后加入opener方法里####
            opener = urllib2.build_opener(self.cookie) ### 使用cookie ###
            headers = { ####### dict結(jié)構(gòu)，可以加入x-forward-for甚至refer等 #######
           'User-Agent':'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6'}
            urllib2.install_opener(opener)
            request = urllib2.Request(url,urllib.urlencode(postdata),headers = headers)
            urllib2.urlopen(request)
    if __name__=='__main__':
       pwd='123456'
       user='xiaofu'
       test=Hi_login()
       test.login(user,pwd)

假如訪問需要認證的頁面比如nagios監(jiān)控頁面等，

復(fù)制代碼代碼如下:

    import urllib2

    password_mgr = urllib2.HTTPPasswordMgrWithDefaultRealm()

    url = "http://202.1.x.y/nagios"

    password_mgr.add_password(None, url, user='abc',passwd='xxxxxx')

    handler = urllib2.HTTPBasicAuthHandler(password_mgr)

    opener = urllib2.build_opener(handler)

    urllib2.install_opener(opener)

    f=urllib2.urlopen(url)

    print f.code

返回結(jié)果200，否則就是401認證錯誤

希望本文所述對大家的Python程序設(shè)計有所幫助。

您可能感興趣的文章: