python爬取指定微信公眾號文章

更新時(shí)間：2018年12月20日 09:09:47 作者：max_wcsdn

這篇文章主要為大家詳細(xì)介紹了python爬取指定微信公眾號文章，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下

本文實(shí)例為大家分享了python爬取微信公眾號文章的具體代碼，供大家參考，具體內(nèi)容如下

該方法是依賴于urllib2庫來完成的，首先你需要安裝好你的python環(huán)境，然后安裝urllib2庫

程序的起始方法(返回值是公眾號文章列表)：

def openUrl():
  print("啟動爬蟲，打開搜狗搜索微信界面")
  # 加載頁面
  url = 'http://weixin.sogou.com/weixin?type=1&s_from=input&query=要爬取的公眾號名稱'
  htmlContentObj = urllib2.urlopen(url)
  # 將頁面轉(zhuǎn)化為文本
  html = htmlContentObj.read()
  # 正則匹配
  str = re.findall(r"http://mp.weixin.qq.com/profile.+==",html)
  # 替換轉(zhuǎn)義符得到可訪問的鏈接地址
  tempHref = re.sub(r"&amp;","&",str[0])
  return tempHref

根據(jù)獲取到的文章列表的頁的鏈接地址（注意是文章列表頁面的得鏈接地址，不是文章的地址）將頁面讀取為文本

# 獲取頁面文本方法
def getHtmlStr(conurl):
  # 相當(dāng)于把頁面轉(zhuǎn)化為文本
  response = urllib2.urlopen(conurl)
  # 讀取文本的字符串
  htmlStr = response.read()
  return htmlStr

對讀取為文本的頁面進(jìn)行分析并利用正則匹配獲得公眾號里面文章的標(biāo)題，鏈接地址等內(nèi)容得json對象

# 文本轉(zhuǎn)換為所需要的json對象
def htmlToJsonObj(htmlStr):
  # 正則匹配并得到需要的json字符串
  jsonObjstr = re.findall(r"{\"list\":\[.+\]\}", htmlStr)
  # 字符串轉(zhuǎn)json
  jsonObj = json.loads(jsonObjstr[len(jsonObjstr)-1])
  return jsonObj

然后從json對象中取出title，拼接url等（我這里只是獲取了鏈接地址和標(biāo)題），將兩個內(nèi)容分別存在兩個數(shù)組，以json對象的方式返回出去（注意拼接url的時(shí)候要替換掉轉(zhuǎn)義符（&））

# 從json對象中取出所需要的url
def jsonObjToArray(jsonObj):
  hrefs = []
  titles = []
  # url中的&在html中是&amp; ，故需要替換，下面為正則
  patten = re.compile(r"&amp;")
  # 數(shù)組
  arr = jsonObj["list"]
  # 循環(huán)添加
  for i in range(len(arr)):
    # 每次替換字符串
    fixHref = re.sub(patten,"&",arr[i]["app_msg_ext_info"]["content_url"])
    # 添加到數(shù)組
    titles.append(arr[i]["app_msg_ext_info"]["title"])
    hrefs.append("https://mp.weixin.qq.com"+fixHref)
  jsons = {"hrefs":hrefs,"titles":titles}
  return jsons
#打開瀏覽器，進(jìn)行工作
def start():
  tempHref = openUrl()
  # 獲取頁面文本
  htmlStr = getHtmlStr(tempHref)
  # 文本轉(zhuǎn)json對象
  jsonObj = htmlToJsonObj(htmlStr)
  # f返回所需要的url數(shù)組
  return jsonObjToArray(jsonObj)

最后通過啟動程序的方法啟動爬蟲并打印爬取到的信息

if __name__=='__main__': 
  try:
    hrefs = start()
    count = len(hrefs["hrefs"])
    for i in range(count):
      print("標(biāo)題："+hrefs["titles"][i].encode("utf-8"))
      print("爬取到的路徑："+hrefs["hrefs"][i].encode("utf-8"))
    print("------------->>爬取并打印完畢")
  except Exception as e:
    print(str(e))

程序需要導(dǎo)入的包