Python3.4編程實現(xiàn)簡單抓取爬蟲功能示例

更新時間：2017年09月14日 09:13:48 作者：macwhirr123

這篇文章主要介紹了Python3.4編程實現(xiàn)簡單抓取爬蟲功能,涉及Python3.4網(wǎng)頁抓取及正則解析相關(guān)操作技巧,需要的朋友可以參考下

本文實例講述了Python3.4編程實現(xiàn)簡單抓取爬蟲功能。分享給大家供大家參考，具體如下：

import urllib.request
import urllib.parse
import re
import urllib.request,urllib.parse,http.cookiejar
import time
def getHtml(url):
  cj=http.cookiejar.CookieJar()
  opener=urllib.request.build_opener(urllib.request.HTTPCookieProcessor(cj))
  opener.addheaders=[('User-Agent','Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.101 Safari/537.36'),('Cookie','4564564564564564565646540')]
  urllib.request.install_opener(opener)
  page = urllib.request.urlopen(url)
  html = page.read()
  return html
#print ( html)
#html = getHtml("http://weibo.com/")
def getimg(html):
  html = html.decode('utf-8')
  reg='"screen_name":"(.*?)"'
  imgre = re.compile(reg)
  src=re.findall(imgre,html)
  return src
#print ("",getimg(html))
uid=['2808675432','3888405676','2628551531','2808587400']
for a in list(uid):
  print (getimg(getHtml("http://weibo.com/"+a)))
  time.sleep(1)

更多關(guān)于Python相關(guān)內(nèi)容可查看本站專題：《Python Socket編程技巧總結(jié)》、《Python數(shù)據(jù)結(jié)構(gòu)與算法教程》、《Python函數(shù)使用技巧總結(jié)》、《Python字符串操作技巧匯總》、《Python入門與進階經(jīng)典教程》及《Python文件與目錄操作技巧匯總》

希望本文所述對大家Python程序設(shè)計有所幫助。

您可能感興趣的文章:

相關(guān)文章

springboot aop方式實現(xiàn)接口入?yún)⑿ｒ灥氖纠a
在實際開發(fā)項目中,我們常常需要對接口入?yún)⑦M行校驗,本文主要介紹了springboot aop方式實現(xiàn)接口入?yún)⑿ｒ灥氖纠a,具有一定的參考價值,感興趣的可以了解一下
2023-08-08
Python中性能分析利器pyinstrument詳細講解
大家好，本篇文章主要講的是Python中性能分析利器pyinstrument詳細講解，感興趣的同學(xué)趕快來看一看吧，對你有幫助的話記得收藏一下
2022-02-02
python 爬蟲如何正確的使用cookie
這篇文章主要介紹了python 爬蟲如何使用cookie，幫助大家繞過網(wǎng)站設(shè)置的登錄規(guī)則以及登錄時的驗證碼識別，完成自身的爬取需求，感興趣的朋友可以了解下
2020-10-10
python單例模式獲取IP代理的方法詳解
在使用python對網(wǎng)頁進程訪問時,以防被禁止,可用使用代理IP的方法減少被禁的可能，下面這篇文章主要給大家介紹了關(guān)于python單例模式獲取IP代理的相關(guān)資料，需要的朋友可以參考借鑒，下面來一起看看吧
2018-09-09
解決Tkinter中button按鈕未按卻主動執(zhí)行command函數(shù)的問題
這篇文章主要介紹了解決Tkinter中button按鈕未按卻主動執(zhí)行command函數(shù)的問題，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教
2021-05-05
python對文件目錄的操作方法實例總結(jié)
這篇文章主要介紹了python對文件目錄的操作方法,結(jié)合實例形式總結(jié)分析了Python針對文件目錄相關(guān)的遍歷、刪除、移動、查找等操作技巧,需要的朋友可以參考下
2019-06-06
Python使用BeautifulSoup進行頁面解析
在Python中,我們可以使用BeautifulSoup庫來解析網(wǎng)頁,BeautifulSoup提供了簡單而強大的API,使得解析網(wǎng)頁變得輕松而高效,下面小編就來為大家詳細講講BeautifulSoup解析網(wǎng)頁的具體操作吧
2023-09-09
Python中操作mysql的pymysql模塊詳解
這篇文章給大家演示了如何安裝以及使用Python中操作mysql的pymysql模塊，本文介紹的很詳細，對大家學(xué)習(xí)Python具有一定參考借鑒價值，有需要的朋友們一起來看看吧。
2016-09-09
python ftplib模塊使用代碼實例
這篇文章主要介紹了python ftplib模塊使用代碼實例,文中通過示例代碼介紹的非常詳細，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下
2019-12-12
win10環(huán)境下配置vscode python開發(fā)環(huán)境的教程詳解
這篇文章主要介紹了win10環(huán)境下配置python開發(fā)環(huán)境(vscode)的教程，非常不錯，具有一定的參考借鑒價值,需要的朋友可以參考下
2019-10-10