# coding=UTF-8
'''
 function:爬取豆瓣top250的電影信息，并寫入Excel文件
'''
import requests
import re
from openpyxl import workbook # 寫入Excel表所用
from openpyxl import load_workbook # 讀取Excel表所用
from bs4 import BeautifulSoup as bs
import os
os.chdir('C:\Users\Administrator\Desktop') # 更改工作目錄為桌面
 
 
def getHtml(src):
 html = requests.get(src).content
 getData(html, src) # 首頁鏈接和其他頁不同，所以單獨(dú)獲取信息
 urls = re.findall('href="(.*filter=?)', html) # re獲取獲取跳轉(zhuǎn)鏈接的href
 for u in range(len(urls) - 2): # 匹配到的跳轉(zhuǎn)鏈接最后兩個(gè)重復(fù)，需去掉
  next_url = 'https://movie.douban.com/top250' + urls[u]
  html = requests.get(next_url).content
  getData(html, next_url)
 
 
def getData(html, num_url): # html:網(wǎng)頁源碼 ，num_url:頁面鏈接
 global ws # 全局工作表對象
 Name = [] # 存儲電影名
 Dr = [] # 存儲導(dǎo)演信息
 Ma = [] # 存儲主演信息
 Si = [] # 存儲簡介
 R_score = [] # 存儲評分
 R_count = [] # 存儲評論人數(shù)
 R_year = [] # 存儲年份
 R_area = [] # 存儲地區(qū)
 R_about = [] # 存儲劇情類型
 soup = bs(html, 'lxml')
 for n in soup.find_all('div', class_='hd'):
  # ts = n.contents[1].text # 得到電影的所有名稱
  ts = n.contents[1].text.strip().split('/')[0] # 得到電影中文名
  Name.append(ts)
 for p in soup.find_all('p', class_=''):
  infor = p.text.strip().encode('utf-8') #此處用utf-8編碼，以免下面查找 ‘主演'下標(biāo)報(bào)錯(cuò)
  ya = re.findall('[0-9]+.*\/?', infor)[0] # re得到年份和地區(qū)
  R_year.append(ya.split('/')[0]) # 得到年份
  R_area.append(ya.split('/')[1]) # 得到地區(qū)
  R_about.append(infor[infor.rindex('/') + 1:]) # rindex函數(shù)取最后一個(gè)/下標(biāo)，得到劇情類型
  try:
   sub = infor.index('主演') # 取得主演下標(biāo)
   Dr.append(infor[0:sub].split(':')[1]) # 得到導(dǎo)演信息
   mh = infor[sub:].split(':')[1] # 得到主演后面的信息
   Ma.append(re.split('[1-2]+', mh)[0]) # 正則切片得到主演信息
  except:
   print '無主演信息'
   Dr.append(infor.split(':')[1].split('/')[0])
   Ma.append('無介紹...')
 for r in soup.find_all('div', class_='star'):
  rs = r.contents # 得到該div的子節(jié)點(diǎn)列表
  R_score.append(rs[3].text) # 得到評分
  R_count.append(rs[7].text) # 得到評論人數(shù)
 for s in soup.find_all('span', 'inq'):
  Si.append(s.text) # 得到簡介
 if len(Si) < 25:
  for k in range(25 - len(Si)):
   Si.append('本頁有的電影沒簡介，建議查看核對，鏈接:' + num_url)
 
 for i in range(25): # 每頁25條數(shù)據(jù),寫入工作表中
  ws.append([Name[i], R_year[i], R_area[i], R_about[i],
     Dr[i], Ma[i], R_score[i], R_count[i], Si[i]])
 
 
if __name__ == '__main__':
 # 讀取存在的Excel表測試
 #  wb = load_workbook('test.xlsx') #加載存在的Excel表
 #  a_sheet = wb.get_sheet_by_name('Sheet1') #根據(jù)表名獲取表對象
 #  for row in a_sheet.rows: #遍歷輸出行數(shù)據(jù)
 #   for cell in row: #每行的每一個(gè)單元格
 #    print cell.value,
 
 # 創(chuàng)建Excel表并寫入數(shù)據(jù)
 wb = workbook.Workbook() # 創(chuàng)建Excel對象
 ws = wb.active # 獲取當(dāng)前正在操作的表對象
 # 往表中寫入標(biāo)題行,以列表形式寫入！
 ws.append(['電影名', '年份', '地區(qū)', '劇情類型', '導(dǎo)演', '主演', '評分', '評論人數(shù)', '簡介'])
 src = 'https://movie.douban.com/top250'
 getHtml(src)
 wb.save('test2.xlsx') # 存入所有信息后，保存為filename.xlsx