from scrapy import cmdline 
cmdline.execute("scrapy crawl field -o info.csv -t csv".split()) 

import scrapy 
 
class GetItem(scrapy.Item): 
  name = scrapy.Field()    #招聘單位 
  genre = scrapy.Field()   #招聘類型 
  number = scrapy.Field()   #招聘人數(shù) 
  place = scrapy.Field()   #招聘地點(diǎn) 
  time = scrapy.Field()    #招聘時(shí)間 

# _*_ coding:utf-8 _*_ 
import scrapy 
from scrapy.http import Request 
from time import sleep 
import os 
import sys 
sys.path.append("D:\PYscrapy\get_Field") #我使用這種路徑添加的方式來調(diào)用GetItem函數(shù)和main函數(shù) 
from get_Field.items import GetItem 
import main  #main函數(shù)開頭就說了兩行調(diào)用程序的代碼，你也可以在cmd中使用scrapy crawl field -o info.csv -t csv來調(diào)用。主要是方便 
 
class Tencentzhaopin(scrapy.Spider): 
  name = "field"  #這個(gè)程序要執(zhí)行的唯一標(biāo)識(shí)名 可以自己設(shè)置 
  start_urls = ["http://hr.tencent.com/position.php?&start=0#a"] #首頁(yè)網(wǎng)址 
  url = "http://hr.tencent.com/" #由于有翻頁(yè)操作所以我們?cè)O(shè)置翻頁(yè)前綴，等一下獲取后綴 
  count = 0 
  names = []    #這五個(gè)列表記錄我們獲取的信息 
  genres = [] 
  numbers = [] 
  places = [] 
  times = [] 
  filename = "data.txt"  #保存的文件名 
  if os.path.exists(filename) == True:  #判斷這個(gè)文件是否已經(jīng)存在文件夾中，有就移除掉。 
    os.remove(filename) 
 
  def parse(self,response): 
    self.count += 1 #設(shè)置我們需要爬去多少頁(yè)，不設(shè)置的話會(huì)有幾百頁(yè)需要爬取 
    name = response.xpath('//table//td[@class="l square"]//a//text()').extract() 
    #通過xpath方法獲取我們需要的內(nèi)容，再使用extract()抽取器獲取到 
    for i in name:    #利用循環(huán)將每一次的內(nèi)容存入我們上面設(shè)置的列表中去，方便后面存入csv文件（下面4個(gè)類似） 
      self.names.append(i) 
    genre = response.xpath('//table//tr[not(@class="h")]//td[2][not(@align="center")]//text()').extract() 
    for i in genre: 
      self.genres.append(i) 
    number = response.xpath('//table//tr[not(@class="h")]//td[3][not(@align="center")]//text()').extract() 
    for i in number: 
      self.numbers.append(i) 
    place = response.xpath('//table//tr[not(@class="h")]//td[4][not(@align="center")]//text()').extract() 
    for i in place: 
      self.places.append(i) 
    time = response.xpath('//table//tr[not(@class="h")]//td[5][not(@align="center")]//text()').extract() 
    for i in time: 
      self.times.append(i) 
 
    new_url = response.xpath('//*[@id="next"]//@href').extract() 
    #前面我們說過需要翻頁(yè)操作，所以這里是獲取到翻頁(yè)的后綴 
    new_url = self.url+new_url[0] #再與前綴結(jié)合，獲取到一個(gè)完整的下一頁(yè)鏈接 
    sleep(0.5) #我們?cè)O(shè)置一個(gè)翻頁(yè)的時(shí)間，太快了不好。。。。（我是這樣想的） 
 
    #下面就是信息存入items容器 
    for i in range(len(self.genres)): #for循環(huán)列表的長(zhǎng)度，獲取到所有信息 
      info = GetItem()  #實(shí)例一個(gè)類info用來保存數(shù)據(jù) 
      info["name"] = self.names[i]    #將每一個(gè)屬性列表中的每一個(gè)數(shù)據(jù)保存依次保存到info中去 
      info["genre"] = self.genres[i] 
      info["number"] = self.numbers[i] 
      info["place"] = self.places[i] 
      info["time"] = self.times[i] 
      yield info #這個(gè)yield注意了，嗯，這就很舒服了 
      #我們將每一次保存的數(shù)據(jù)返回，但是返回了我們還需要程序繼續(xù)執(zhí)行，所以使用yield函數(shù)返回后繼續(xù)執(zhí)行 
 
    if self.count<=20: 
      yield Request(url=new_url,callback=self.parse) 
      #如果滿足20頁(yè)以內(nèi)，我們callback返回下一頁(yè)的鏈接繼續(xù)到parse這個(gè)默認(rèn)函數(shù)，