var superagent = require('superagent');
superagent
.get('/some-url')
.end(function(err, res){
  // Do something 
});

var superagent = require('superagent');
var charset = require('superagent-charset');
charset(superagent);

superagent
.get('/some-url')
.charset('gb2312') //這里設(shè)置編碼
.end(function(err, res){
  // Do something 
});

var ep = new EventProxy();
ep.after('got_file', files.length, function (list) {
 // 在所有文件的異步執(zhí)行結(jié)束后將被執(zhí)行 
 // 所有文件的內(nèi)容都存在list數(shù)組中 
});
for (var i = 0; i < files.length; i++) {
 fs.readFile(files[i], 'utf-8', function (err, content) {
  // 觸發(fā)結(jié)果事件 
  ep.emit('got_file', content);
 });
}
//注意got_file這兩個(gè)名字必須對(duì)應(yīng)

var cheerio = require('cheerio'); //可以像jquer一樣操作界面
var charset = require('superagent-charset'); //解決亂碼問(wèn)題:
var superagent = require('superagent'); //發(fā)起請(qǐng)求 
charset(superagent); 
var async = require('async'); //異步抓取
var express = require('express'); 
var eventproxy = require('eventproxy'); //流程控制
var ep = eventproxy();
var app = express();

var baseUrl = 'http://www.dytt8.net'; //迅雷首頁(yè)鏈接
var newMovieLinkArr=[]; //存放新電影的url
var errLength=[];   //統(tǒng)計(jì)出錯(cuò)的鏈接數(shù)
var highScoreMovieArr=[] //高評(píng)分電影

//先抓取迅雷首頁(yè)
(function (page) {
  superagent
  .get(page)
  .charset('gb2312')
  .end(function (err, sres) {
    // 常規(guī)的錯(cuò)誤處理
    if (err) {
     console.log('抓取'+page+'這條信息的時(shí)候出錯(cuò)了')
      return next(err);
    }
    var $ = cheerio.load(sres.text);
    // 170條電影鏈接，注意去重
    getAllMovieLink($);
    highScoreMovie($);
    /*
    *流程控制語(yǔ)句
    *當(dāng)首頁(yè)左側(cè)的鏈接爬取完畢之后，我們就開(kāi)始爬取里面的詳情頁(yè)
    */
    ep.emit('get_topic_html', 'get '+page+' successful');
  });
})(baseUrl);

//評(píng)分8分以上影片 200余部!，這里只是統(tǒng)計(jì)數(shù)據(jù)，不再進(jìn)行抓取
function highScoreMovie($){
  var url='http://www.dytt8.net'+$('.co_content2 ul a').eq(0).attr('href');
  console.log(url);
  superagent
  .get(url)
  .charset('gb2312')
  .end(function (err, sres) {
    // 常規(guī)的錯(cuò)誤處理
    if (err) {
      console.log('抓取'+url+'這條信息的時(shí)候出錯(cuò)了')
    }
    var $ = cheerio.load(sres.text);
    var elemP=$('#Zoom p');
    var elemA=$('#Zoom a');
    for (var k = 1; k < elemP.length; k++) {
      var Hurl=elemP.eq(k).find('a').text();
      if(highScoreMovieArr.indexOf(Hurl) ==-1){
        highScoreMovieArr.push(Hurl);
      };
    }
  });
}

// 獲取首頁(yè)中左側(cè)欄的所有鏈接
function getAllMovieLink($){
  var linkElem=$('.co_content2 ul a');
  for(var i=1;i<170;i++){
    var url='http://www.dytt8.net'+linkElem.eq(i).attr('href');
    // 注意去重
    if(newMovieLinkArr.indexOf(url) ==-1){
      newMovieLinkArr.push(url);
    };
  }
}

// 命令 ep 重復(fù)監(jiān)聽(tīng) emit事件(get_topic_html)，當(dāng)get_topic_html爬取完畢之后執(zhí)行
ep.after('get_topic_html', 1, function (eps) {
  var concurrencyCount = 0;
  var num=-4; //因?yàn)槭?個(gè)并發(fā)，所以需要減4

  // 利用callback函數(shù)將結(jié)果返回去，然后在結(jié)果中取出整個(gè)結(jié)果數(shù)組。
  var fetchUrl = function (myurl, callback) {
    var fetchStart = new Date().getTime();
    concurrencyCount++;
    num+=1
    console.log('現(xiàn)在的并發(fā)數(shù)是', concurrencyCount, '，正在抓取的是', myurl);
    superagent
    .get(myurl)
    .charset('gb2312') //解決編碼問(wèn)題
    .end(function (err, ssres) {

      if (err) {
        callback(err, myurl + ' error happened!');
        errLength.push(myurl);
        return next(err);
      }

      var time = new Date().getTime() - fetchStart;
      console.log('抓取 ' + myurl + ' 成功', '，耗時(shí)' + time + '毫秒');
      concurrencyCount--;

      var $ = cheerio.load(ssres.text);

      // 對(duì)獲取的結(jié)果進(jìn)行處理函數(shù)
      getDownloadLink($,function(obj){
        res.write('<br/>');
        res.write(num+'、電影名稱--> '+obj.movieName);
        res.write('<br/>');
        res.write('迅雷下載鏈接--> '+obj.downLink);
        res.write('<br/>');
        res.write('詳情鏈接--> <a href='+myurl+' target="_blank">'+myurl+'<a/>');
        res.write('<br/>');
        res.write('<br/>');
      });
      var result = {
         movieLink: myurl
      };
      callback(null, result);
    });
  };

  // 控制最大并發(fā)數(shù)為5，在結(jié)果中取出callback返回來(lái)的整個(gè)結(jié)果數(shù)組。
  // mapLimit(arr, limit, iterator, [callback])
  async.mapLimit(newMovieLinkArr, 5, function (myurl, callback) {
    fetchUrl(myurl, callback);
  }, function (err, result) {
    // 爬蟲(chóng)結(jié)束后的回調(diào)，可以做一些統(tǒng)計(jì)結(jié)果
    console.log('抓包結(jié)束，一共抓取了-->'+newMovieLinkArr.length+'條數(shù)據(jù)');
    console.log('出錯(cuò)-->'+errLength.length+'條數(shù)據(jù)');
    console.log('高評(píng)分電影：==》'+highScoreMovieArr.length);
    return false;
  });
  
});