如何基于Python爬蟲爬取美團(tuán)酒店信息

更新時間：2020年11月03日 11:38:28 作者：松鼠愛吃餅干

這篇文章主要介紹了如何基于Python爬蟲爬取美團(tuán)酒店信息,文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下

一、分析網(wǎng)頁

網(wǎng)站的頁面是 JavaScript 渲染而成的，我們所看到的內(nèi)容都是網(wǎng)頁加載后又執(zhí)行了JavaScript代碼之后才呈現(xiàn)出來的，因此這些數(shù)據(jù)并不存在于原始 HTML 代碼中，而 requests 僅僅抓取的是原始 HTML 代碼。抓取這種類型網(wǎng)站的頁面數(shù)據(jù)，解決方案如下：

分析 Ajax，很多數(shù)據(jù)可能是經(jīng)過 Ajax 請求時候獲取的，所以可以分析其接口。

在XHR里可以找到，Request URL有幾個關(guān)鍵參數(shù)，uuid和cityId是城市標(biāo)識，offset偏移量可以控制翻頁，分析網(wǎng)頁發(fā)現(xiàn)，第x頁的offset為：(x-1)*20，limit表示每頁有20條信息，startDay和endDay為當(dāng)前的日期。

在Preview里可以找到每頁的20條信息

模擬JavaScript渲染過程，直接抓取渲染后的結(jié)果。

selenium和pyppeteer爬蟲就是用的這種方法

二、爬取酒店信息

logging.basicConfig(level=logging.INFO, format='%(asctime)s - %(levelname)s: %(message)s')
url = "https://ihotel.meituan.com/hbsearch/HotelSearch"
headers = {
  "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.162 Safari/537.36",
  "Referer": "https://hotel.meituan.com/chengdu"
}
wb = openpyxl.Workbook()
sheet = wb.active
sheet.append(['酒店名稱', '酒店地址', '酒店類型', '最低價', '評價', '評論數(shù)', '經(jīng)度', '緯度'])


def hotel_data(x):
  data = {
    'utm_medium': 'pc',
    'version_name': 999.9,
    'cateId': 20,
    'attr_28': 129,
    'uuid': '5D4E443EC83DDD49B73F317921EAE16C7B492A634A67FA261773890F730A5932@1600263777783',
    'cityId': 59,
    'offset': x * 20,
    'limit': 20,
    'startDay': 20200916,
    'endDay': 20200916,
    'q': '', 'sort': 'defaults',
    'X-FOR-WITH': '47zbBAV+k1e7QrnKt4lEVXrmtOE9w2OpFfGsKf539CDdXIw4r2V/qICcWVeNACGHWNbD6iL4huPyRVdkNJJwR6dqcoQMyzjUE3cQGWr6YZOwANQOlCSrZ7m1+aahwcnh/dTfaJLMZfxWaJQEISBuKbiMgDC8Vr4eaeWiYASkLl0ByB96MOUz7gfjUTbhlV0ZXvZ/ucwNcK3zxTQjmoBINsAY4HwpKQLpOV2IqV1CtPg=',
  }
  res = requests.get(url, headers=headers, params=data)
  time.sleep(random.randint(1, 3))
  results = json.loads(res.text)['data']['searchresult']
  for con in results:
    name = con['name']       # 酒店名稱
    addr = con['addr']       # 酒店地址
    star = con['hotelStar']     # 酒店類型
    price = con['lowestPrice']   # 最低價
    scoreIntro = con['scoreIntro'] # 評價
    comments = con['commentsCountDesc'] # 評論數(shù)
    lng, lat = con['lng'], con['lat']  # 經(jīng)緯度
    data = [name, addr, star, price, scoreIntro, comments, lng, lat]
    sheet.append(data)
    logging.info(data)

程序運(yùn)行成功，酒店信息保存到了Excel。