Python實現(xiàn)周期性抓取網(wǎng)頁內(nèi)容的方法

更新時間：2015年11月04日 15:22:07 作者：intergret

這篇文章主要介紹了Python實現(xiàn)周期性抓取網(wǎng)頁內(nèi)容的方法,涉及Python時間函數(shù)及正則匹配的相關(guān)操作技巧,具有一定參考借鑒價值,需要的朋友可以參考下

本文實例講述了Python實現(xiàn)周期性抓取網(wǎng)頁內(nèi)容的方法。分享給大家供大家參考，具體如下：

1.使用sched模塊可以周期性地執(zhí)行指定函數(shù)

2.在周期性執(zhí)行指定函數(shù)中抓取指定網(wǎng)頁，并解析出想要的網(wǎng)頁內(nèi)容，代碼中是六維論壇的在線人數(shù)

論壇在線人數(shù)統(tǒng)計代碼：

#coding=utf-8
import time,sched,os,urllib2,re,string
#初始化sched模塊的scheduler類
#第一個參數(shù)是一個可以返回時間戳的函數(shù)，第二個參數(shù)可以在定時未到達(dá)之前阻塞。
s = sched.scheduler(time.time,time.sleep)
#被周期性調(diào)度觸發(fā)的函數(shù)
def event_func():
  req = urllib2.Request('http://bt.neu6.edu.cn/')
  response = urllib2.urlopen(req)
  rawdata = response.read()
  response.close()
  usernump = re.compile(r'總計 <em>.*?</em> 人在線')
  usernummatch = usernump.findall(rawdata)
  if usernummatch:
    currentnum=usernummatch[0]
    currentnum=currentnum[string.index(currentnum,'>')+1:string.rindex(currentnum,'<')]
    print "Current Time:",time.strftime('%Y,%m,%d,%H,%M',time.localtime(time.time())),'User num:',currentnum
    # 保存結(jié)果，供圖表工具amcharts使用
    result=open('liuvUserNUm','a')
    result.write('{year: new Date('+time.strftime('%Y,%m,%d,%H,%M',time.localtime(time.time()))+'),value:'+currentnum+'},\n')
    result.close()
#enter四個參數(shù)分別為：間隔事件、優(yōu)先級（用于同時間到達(dá)的兩個事件同時執(zhí)行時定序）、被調(diào)用觸發(fā)的函數(shù)，給他的參數(shù)（注意：一定要以tuple給如，如果只有一個參數(shù)就(xx,)）
def perform(inc):
  s.enter(inc,0,perform,(inc,))
  event_func()
def mymain(inc=900):
  s.enter(0,0,perform,(inc,))
  s.run()
if __name__ == "__main__":
  mymain()

希望本文所述對大家Python程序設(shè)計有所幫助。

您可能感興趣的文章:

相關(guān)文章

Python讀寫docx文件的方法
今天小編就為大家分享一篇Python讀寫docx文件的方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
2018-05-05
Python腳本完成post接口測試的實例
今天小編就為大家分享一篇Python腳本完成post接口測試的實例，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
2018-12-12
Python調(diào)用DeepSeek?API的完整操作指南
本文將詳細(xì)介紹如何使用?Python?調(diào)用?DeepSeek?API,實現(xiàn)流式對話并保存對話記錄,相比?Go?版本,Python?實現(xiàn)更加簡潔優(yōu)雅,適合快速開發(fā)和原型驗證,文中通過代碼示例講解的非常詳細(xì),需要的朋友可以參考下
2025-02-02
web自動化測試Selenium點擊元素的常用方法
在Web自動化測試中,Selenium提供多種點擊方法,常用的click()方法通過選中元素并觸發(fā)點擊事件,若click()方法不穩(wěn)定,可以采用JavaScript執(zhí)行點擊或使用ActionChains類模擬鼠標(biāo)點擊,需要的朋友可以參考下
2024-09-09
Python使用低通濾波器模糊圖像功能實現(xiàn)
這篇文章主要介紹了Python使用低通濾波器模糊圖像,我們介紹了多種不同類型的濾波器核與卷積操作，使用 scipy.ndimage 模塊中的濾波器模糊圖像，利用 scipy.fftpack 模塊的 fft2() 函數(shù)實現(xiàn)高斯模糊，介紹了scipy.signal模塊的彩色圖像頻域卷積，需要的朋友可以參考下
2023-03-03
Pandas 多層索引操作的實現(xiàn)
本文主要介紹了Pandas 多層索引操作的實現(xiàn),文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
2025-02-02
python3.6+selenium實現(xiàn)操作Frame中的頁面元素
這篇文章主要為大家詳細(xì)介紹了python3.6+selenium實現(xiàn)操作Frame中的頁面元素，具有一定的參考價值，感興趣的小伙伴們可以參考一下
2019-07-07
pygame實現(xiàn)方塊動畫實例講解
在本篇文章里小編給大家整理的是一篇關(guān)于pygame實現(xiàn)方塊動畫實例講解內(nèi)容，以后需要的朋友們可以學(xué)習(xí)參考下。
2021-12-12
Python實現(xiàn)智能貪吃蛇游戲的示例代碼
我想大家都玩過諾基亞上面的貪吃蛇吧，這篇文章將帶你一步步用python語言實現(xiàn)一個snake小游戲，文中的示例代碼講解詳細(xì)，感興趣的可以了解一下
2022-07-07
pytest使用@pytest.mark.parametrize()實現(xiàn)參數(shù)化的示例代碼
這篇文章主要介紹了pytest使用@pytest.mark.parametrize()實現(xiàn)參數(shù)化,本文通過示例代碼給大家介紹的非常詳細(xì)，對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值，需要的朋友可以參考下
2022-07-07