from selenium import webdriver

# 控制火狐瀏覽器
browser = webdriver.Firefox()

# 訪問我們的目標(biāo)網(wǎng)址
browser.get("http://quotes.toscrape.com/js/")

# 獲取渲染后的html頁面
html = browser.page_source

#!usr/bin/env python 
# -*- coding:utf-8 _*-
""" 
@author:Joshua
@description:
  只是繼承一下scrapy.Request，然后pass，好區(qū)分哪些Request需要啟用selenium進(jìn)行解析頁面，相當(dāng)于改個(gè)名
"""
import scrapy

class SeleniumRequest(scrapy.Request):
  """
  selenium專用Request類
  """
  pass

#!usr/bin/env python 
# -*- coding:utf-8 _*-
""" 
@author:Joshua 
@description:
  一個(gè)spider開一個(gè)瀏覽器
"""
import logging
import scrapy
from selenium import webdriver


class SeleniumSpider(scrapy.Spider):
  """
  Selenium專用spider

  一個(gè)spider開一個(gè)瀏覽器

  瀏覽器驅(qū)動(dòng)下載地址:http://www.cnblogs.com/qiezizi/p/8632058.html
  """
  # 瀏覽器是否設(shè)置無頭模式，僅測試時(shí)可以為False
  SetHeadless = True

  # 是否允許瀏覽器使用cookies
  EnableBrowserCookies = True

  def __init__(self, *args, **kwargs):
    super(SeleniumSpider, self).__init__(*args, **kwargs)
    
    # 獲取瀏覽器操控權(quán)
    self.browser = self._get_browser()

  def _get_browser(self):
    """
    返回瀏覽器實(shí)例
    """
    # 設(shè)置selenium與urllib3的logger的日志等級(jí)為ERROR
    # 如果不加這一步，運(yùn)行爬蟲過程中將會(huì)產(chǎn)生一大堆無用輸出
    logging.getLogger('selenium').setLevel('ERROR')
    logging.getLogger('urllib3').setLevel('ERROR')
    
    # selenium已經(jīng)放棄了PhantomJS，開始支持firefox與chrome的無頭模式
    return self._use_firefox()

  def _use_firefox(self):
    """
    使用selenium操作火狐瀏覽器
    """
    profile = webdriver.FirefoxProfile()
    options = webdriver.FirefoxOptions()
    
    # 下面一系列禁用操作是為了減少selenium的資源耗用，加速scrapy
    
    # 禁用圖片
    profile.set_preference('permissions.default.image', 2)
    profile.set_preference('browser.migration.version', 9001)
    # 禁用css
    profile.set_preference('permissions.default.stylesheet', 2)
    # 禁用flash
    profile.set_preference('dom.ipc.plugins.enabled.libflashplayer.so', 'false')
    
    # 如果EnableBrowserCookies的值設(shè)為False，那么禁用cookies
    if hasattr(self, "EnableBrowserCookies") and self.EnableBrowserCookies:
      # •值1 - 阻止所有第三方cookie。
      # •值2 - 阻止所有cookie。
      # •值3 - 阻止來自未訪問網(wǎng)站的cookie。
      # •值4 - 新的Cookie Jar策略（阻止對跟蹤器的存儲(chǔ)訪問）
      profile.set_preference("network.cookie.cookieBehavior", 2)
    
    # 默認(rèn)是無頭模式，意思是瀏覽器將會(huì)在后臺(tái)運(yùn)行，也是為了加速scrapy
    # 我們可不想跑著爬蟲時(shí)，旁邊還顯示著瀏覽器訪問的頁面
    # 調(diào)試的時(shí)候可以把SetHeadless設(shè)為False，看一下跑著爬蟲時(shí)候，瀏覽器在干什么
    if self.SetHeadless:
      # 無頭模式，無UI
      options.add_argument('-headless')

    # 禁用gpu加速
    options.add_argument('--disable-gpu')

    return webdriver.Firefox(firefox_profile=profile, options=options)

  def selenium_func(self, request):
    """
    在返回瀏覽器渲染的html前做一些事情
      1.比如等待瀏覽器頁面中的某個(gè)元素出現(xiàn)后，再返回渲染后的html；
      2.比如將頁面切換進(jìn)iframe中的頁面；
    
    在需要使用的子類中要重寫該方法，并利用self.browser操作瀏覽器
    """
    pass

  def closed(self, reason):
    # 在爬蟲關(guān)閉后，關(guān)閉瀏覽器的所有tab頁，并關(guān)閉瀏覽器
    self.browser.quit()
    
    # 日志記錄一下
    self.logger.info("selenium已關(guān)閉瀏覽器...")

#!usr/bin/env python 
# -*- coding:utf-8 _*-
""" 
@author:Joshua 
@description:
  負(fù)責(zé)返回瀏覽器渲染后的Response
"""
import hashlib
import time
from scrapy.http import HtmlResponse
from twisted.internet import defer, threads
from tender_scrapy.extendsion.selenium.spider import SeleniumSpider
from tender_scrapy.extendsion.selenium.requests import SeleniumRequest


class SeleniumDownloaderMiddleware(object):
  """
  Selenium下載器中間件
  """
  
  def process_request(self, request, spider):
    # 如果spider為SeleniumSpider的實(shí)例，并且request為SeleniumRequest的實(shí)例
    # 那么該Request就認(rèn)定為需要啟用selenium來進(jìn)行渲染html
    if isinstance(spider, SeleniumSpider) and isinstance(request, SeleniumRequest):
      # 控制瀏覽器打開目標(biāo)鏈接
      browser.get(request.url)
      
      # 在構(gòu)造渲染后的HtmlResponse之前，做一些事情
      #1.比如等待瀏覽器頁面中的某個(gè)元素出現(xiàn)后，再返回渲染后的html；
      #2.比如將頁面切換進(jìn)iframe中的頁面；
      spider.selenium_func(request)
      
      # 獲取瀏覽器渲染后的html
      html = browser.page_source
      
      # 構(gòu)造Response
      # 這個(gè)Response將會(huì)被你的爬蟲進(jìn)一步處理
      return HtmlResponse(url=browser.current_url, request=request, body=html.encode(), encoding="utf-8")

#!usr/bin/env python 
# -*- coding:utf-8 _*-
""" 
@author:Joshua 
@description:
"""
import functools
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as EC


def waitFor(browser, select_arg, select_method, timeout=2):
  """
  阻塞等待某個(gè)元素的出現(xiàn)直到timeout結(jié)束

  :param browser:瀏覽器實(shí)例
  :param select_method:所使用的選擇器方法
  :param select_arg:選擇器參數(shù)
  :param timeout:超時(shí)時(shí)間
  :return:
  """
  element = WebDriverWait(browser, timeout).until(
    EC.presence_of_element_located((select_method, select_arg))
  )


# 用xpath選擇器等待元素
waitForXpath = functools.partial(waitFor, select_method=By.XPATH)

# 用css選擇器等待元素
waitForCss = functools.partial(waitFor, select_method=By.CSS_SELECTOR)

# -*- coding: utf-8 -*-
"""
@author:Joshua
@description:
  整合selenium的爬蟲示例
"""
import scrapy
from my_project.requests import SeleniumRequest
from my_project.spider import SeleniumSpider
from my_project.tools import waitForXpath


# 這個(gè)爬蟲類繼承了SeleniumSpider
# 在爬蟲跑起來的時(shí)候，將啟動(dòng)一個(gè)瀏覽器
class SeleniumExampleSpider(SeleniumSpider):
  """
  這一網(wǎng)站，他的列表頁是靜態(tài)的，但是內(nèi)容頁是動(dòng)態(tài)的
  所以，用selenium試一下，目標(biāo)是扣出內(nèi)容頁的#content
  """
  name = 'selenium_example'
  allowed_domains = ['pingdingshan.hngp.gov.cn']
  url_format = 'http://pingdingshan.hngp.gov.cn/pingdingshan/ggcx?appCode=H65&channelCode=0301&bz=0&pageSize=20&pageNo={page_num}'

  def start_requests(self):
    """
    開始發(fā)起請求，記錄頁碼
    """
    start_url = self.url_format.format(page_num=1)
    meta = dict(page_num=1)
    # 列表頁是靜態(tài)的，所以不需要啟用selenium，用普通的scrapy.Request就可以了
    yield scrapy.Request(start_url, meta=meta, callback=self.parse)

  def parse(self, response):
    """
    從列表頁解析出正文的url
    """
    meta = response.meta
    all_li = response.css("div.List2>ul>li")

    # 列表
    for li in all_li:
      content_href = li.xpath('./a/@href').extract()
      content_url = response.urljoin(content_href)
      # 內(nèi)容頁是動(dòng)態(tài)的，#content是ajax動(dòng)態(tài)加載的，所以啟用一波selenium
      yield SeleniumRequest(url=content_url, meta=meta, callback=self.parse_content)

    # 翻頁
    meta['page_num'] += 1
    next_url = self.url_format.format(page_num=meta['page_num'])
    # 列表頁是靜態(tài)的，所以不需要啟用selenium，用普通的scrapy.Request就可以了
    yield scrapy.Request(url=next_url, meta=meta, callback=self.parse)

  def parse_content(self, response):
    """
    解析正文內(nèi)容
    """
    content = response.css('#content').extract_first()
    yield dict(content=content)
   
  def selenium_func(self, request):
    # 這個(gè)方法會(huì)在我們的下載器中間件返回Response之前被調(diào)用
    
    # 等待content內(nèi)容加載成功后，再繼續(xù)
    # 這樣的話，我們就能在parse_content方法里應(yīng)用選擇器扣出#content了
    waitForXpath(self.browser, "http://*[@id='content']/*[1]")

def selenium_func(self, request):
  # 找到id為myPanel的iframe
  target = self.browser.find_element_by_xpath("http://iframe[@id='myPanel']")
  # 將瀏覽器的窗口切換進(jìn)該iframe中
  # 那么切換后的self.browser的page_source將會(huì)是iframe的html
  self.browser.switch_to.frame(target)