Python實(shí)現(xiàn)新浪博客備份的方法

更新時(shí)間：2016年04月27日 11:35:30 作者：阿涵-_-

這篇文章主要介紹了Python實(shí)現(xiàn)新浪博客備份的方法,涉及Python正則操作,字符串操作及文本操作的相關(guān)技巧,需要的朋友可以參考下

本文實(shí)例講述了Python實(shí)現(xiàn)新浪博客備份的方法。分享給大家供大家參考，具體如下：

Python2.7.2版本實(shí)現(xiàn)，推薦在IDE中運(yùn)行。

# -*- coding:UTF-8 -*- ＃
'''
Created on 2011-12-18
@author: Ahan
'''
import re
import sys
import os
import time
import socket
import locale
import datetime
import codecs
from urllib import urlopen
#正則表達(dá)式定義
#匹配博文目錄鏈接
pattern1=u"""<a href="(http:.*?)">博文目錄</a>"""
prog1 = re.compile(pattern1)
#匹配博文標(biāo)題鏈接
pattern2=u"""<a title="(.*?)" target="_blank" href="(.*?)">.*?</a>"""
prog2=re.compile(pattern2)
#匹配下一頁(yè)鏈接
pattern3=u"""<a href="([^"]+)" title="[^"]+">下一頁(yè)"""
prog3=re.compile(pattern3)
#匹配正文部分
pattern4=u"""<!--博文正文 begin -->[\\s\\S]*?<!-- 正文結(jié)束 -->"""
prog4=re.compile(pattern4)
#匹配正文圖片鏈接
pattern5=u"""(src="[^"]+"( real_src ="([^"]+)"))"""
prog5=re.compile(pattern5)
def read_date_from_url(url):
  """以Unicode形式返回從url上讀取的所有數(shù)據(jù)
  """
  try:
    data = ""
    request = urlopen(url)
    while True:
      s = request.read(1024)
      if not s:
        break
      data += s
    return unicode(data)
  except:
    print '讀取數(shù)據(jù)時(shí)出錯(cuò)'
    print "Unexpected error:", sys.exc_info()[0],sys.exc_info()[1]
    return None
  finally:
    if request:
      request.close()
def save_to_file(url,filename,blog_address):
  """url為博文地址，filename為要保存的文件名，默認(rèn)后綴為html
  """
  #如果文件夾不存在則創(chuàng)建文件夾
  if os.path.exists(blog_address)==False:
    os.makedirs(blog_address)
  #去掉文件名中的非法字符
  filename=ReplaceBadCharOfFileName(filename)
  file_no=0
  while os.path.isfile(blog_address+'/'+filename+'.html')==True:
    filename=filename+'('+file_no.__str__()+')'
    file_no+=1
  text = read_date_from_url(url)
  text=_filter(text)
  #將圖片保存到本地
  result=prog5.findall(text)
  i=1
  for pic in result:
    folder=blog_address+'/'+filename+'/'
    pic_name='image'+i.__str__()+'.gif' 
    if os.path.exists(folder)==False:
      os.makedirs(folder)
    try:
      url_file = urlopen(pic[2])
      pic_file = codecs.open(folder+pic_name,'wb')
      while True:
        s = url_file.read(1024)
        if not s:
          break
        pic_file.write(s)
      pic_file.close()
      url_file.close()
    except:
      print '噢，保存圖片的時(shí)候出現(xiàn)問(wèn)題了，跳過(guò)此張圖片...'
      print "Unexpected error:", sys.exc_info()[0],sys.exc_info()[1]
    else:
      print '保存圖片成功...'
      #替換正文中的圖片地址
      text=text.replace(pic[0],unicode("src=\"" + filename + "/" + pic_name + "\"" + pic[1]),1)
      i=i+1
  blog_file = codecs.open(blog_address+'/'+filename+'.html','wb')
  blog_file.write(text)
  blog_file.close()
#提取文本中的正文部分
def _filter(t):
  """提取文本中的正文部分，返回Unicode形式的字符串
  """
  result=prog4.search(t)
  if result is not None:
    return u'<html><head></head><body>' + unicode(result.group()) + u'</dody></html>'
  else:
    raise Exception('噢，提取正文出錯(cuò)了……')
#去掉文件名的不合法字符 
def ReplaceBadCharOfFileName(filename):
  filename=filename.replace("&nbsp;","")
  filename=filename.replace("\\", "")
  filename=filename.replace("/", "")
  filename=filename.replace(":", "")
  filename=filename.replace("*", "")
  filename=filename.replace("?", "")
  filename=filename.replace("<", "")
  filename=filename.replace(">", "")
  filename=filename.replace("|", "")
  filename=filename.replace("&","")
  filename=filename.replace(";","")
  return filename
#主函數(shù)
if __name__ == '__main__':
  #準(zhǔn)備階段
  blog_no=1#博文編號(hào)
  begin=1#起始博文
  end=0#結(jié)束博文
  page=0#頁(yè)碼
  saved=0#成功保存的篇數(shù)
  timeout = 60*5#超時(shí)設(shè)為5分鐘
  socket.setdefaulttimeout(timeout)#這里對(duì)整個(gè)socket層設(shè)置超時(shí)時(shí)間。后續(xù)文件中如果再使用到socket，不必再設(shè)置
  blog_address=raw_input("請(qǐng)輸入您的博客地址（輸入最后部分即可，比如您的博客地址是http://blog.sina.com.cn/jiangafu，只要輸入jiangafu）：")
  blog_address=blog_address.replace('\r','')
  begin=raw_input('從第幾篇開(kāi)始：')  
  begin=locale.atoi(begin)
  while begin<=0:
    begin=raw_input('請(qǐng)輸入大于0的數(shù)：')
    begin=locale.atoi(begin)
  end=raw_input('到第幾篇結(jié)束（到最后請(qǐng)輸入0）：')
  end=locale.atoi(end)
  while end<0:
    end=raw_input('請(qǐng)輸入大于等于0的數(shù)：')
    end=locale.atoi(end)
  if end==0:
    print '您的博客地址是：http://blog.sina.com.cn/'+blog_address+'，保存第'+begin.__str__()+'篇到最后一篇博文'
  else:
    print '您的博客地址是：http://blog.sina.com.cn/'+blog_address+'，保存第'+begin.__str__()+'篇到第'\
       +end.__str__()+'篇的博文'
  starttime = datetime.datetime.now()
  text=read_date_from_url('http://blog.sina.com.cn/'+blog_address)
  time.sleep(0.5)
  #提取“博文目錄”的url
  result = prog1.search(text)
  if result is not None:
    print '博文目錄地址：' , result.group(1)
    text=read_date_from_url(result.group(1))
    time.sleep(0.4)
  else:
    print '提取博文目錄地址失敗'
    #終止程序運(yùn)行
    sys.exit()
  #查找每一頁(yè)的全部博文，分析、提取、保存 
  while True:
    page+=1
    print '開(kāi)始備份第' , page , '頁(yè)'
    #匹配該頁(yè)的所有博文地址
    result=prog2.findall(text)
    #循環(huán)下載本頁(yè)每篇博文
    for blog in result: 
      if blog_no < begin:
        blog_no += 1
      elif end != 0 and blog_no > end:
        break
      else:
        try:
          save_to_file(blog[1],unicode(blog[0]),blog_address)
        except:
          print '噢，保存第',blog_no,'篇博文',blog[0],'的時(shí)候出現(xiàn)問(wèn)題了，跳過(guò)...'
          blog_no += 1
          print "Unexpected error:", sys.exc_info()[0],sys.exc_info()[1]
        else:
          print '成功保存了第', blog_no, '篇博文:', blog[0]
          blog_no += 1
          saved += 1
          time.sleep(0.4)
    #判斷是否有下一頁(yè)
    result = prog3.search(text)
    if result is not None:
      text = read_date_from_url(result.group(1))
    else:
      print '這是最后一頁(yè)'
      break
  print '博客備份完成一共備份',saved,'篇博文'
  print '共用時(shí):',datetime.datetime.now() - starttime
  raw_input('按回車(chē)鍵退出...')

更多關(guān)于Python相關(guān)內(nèi)容感興趣的讀者可查看本站專(zhuān)題：《Python數(shù)據(jù)結(jié)構(gòu)與算法教程》、《Python Socket編程技巧總結(jié)》、《Python函數(shù)使用技巧總結(jié)》、《Python字符串操作技巧匯總》、《Python入門(mén)與進(jìn)階經(jīng)典教程》及《Python文件與目錄操作技巧匯總》

希望本文所述對(duì)大家Python程序設(shè)計(jì)有所幫助。

您可能感興趣的文章: