# 字符編碼
FEED_EXPORT_ENCODING = 'utf-8'

# redis寫法一
# REDIS_URL = 'redis://localhost:6379' 

# redis寫法二
REDIS_HOST = '192.168.10.223'
REDIS_PORT = 6379
# 默認的 scrapy redis 會讀取下面的密碼和db
REDIS_PARAMS = {
 'password': '123456',
 'db': redis_db
}

# 對于失敗的HTTP請求(如超時)進行重試會降低爬取效率，當爬取目標基數(shù)很大時，舍棄部分數(shù)據(jù)不影響大局，提高效率
# RETRY_ENABLED = False
# 請求下載超時時間，默認180秒
DOWNLOAD_TIMEOUT = 10

# 1：設置去重組件，使用的是scrapy_redis的去重組件，而不是scrapy自己的去重組件了
DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"
# 2：設置調(diào)度器，使用scrapy——redis重寫的調(diào)度器，
# 而不再使用scrapy內(nèi)部的調(diào)度器了
SCHEDULER = "scrapy_redis.scheduler.Scheduler"
# 3：可以實現(xiàn)斷點爬取=jondir，（請求的記錄不會丟失，會存儲在redis數(shù)據(jù)庫中，
# 不會清除redis的隊列，下次直接從redis的隊列中爬?。?
SCHEDULER_PERSIST = True
# 4：設置任務隊列的模式（三選一）：
# SpiderPriorityQueue數(shù)據(jù)scrapy-redis默認使用的隊列模式（
# 有自己的優(yōu)先級）默認第一種
SCHEDULER_QUEUE_CLASS = "scrapy_redis.queue.SpiderPriorityQueue"
# 使用了隊列的形式，任務先進先出。
# SCHEDULER_QUEUE_CLASS = "scrapy_redis.queue.SpiderQueue"
# 采用了棧的形式：任務先進后出
# SCHEDULER_QUEUE_CLASS = "scrapy_redis.queue.SpiderStack"

'''
用來控制當接收到的 response 頭信息中的 Content-Length 和內(nèi)容不匹配或者response chunk 未正確結束時的時所采取的操作。
當 DOWNLOAD_FAIL_ON_DATALOSS 為 True 的時候拋出 ResponseFailed([_DataLoss]) 錯誤
當設置為 False 時， 校驗未通過的 response 將被忽略并且添加一個名為 dataloss 的 flag 到 response.flag
'''
DOWNLOAD_FAIL_ON_DATALOSS = False
MONGO_URI = 'mongodb://用戶名:密碼@ip:port'