服務(wù)端nodejs抓取jsonp接口數(shù)據(jù)實(shí)現(xiàn)示例
前言
眾所周知,jsonp 接口返回的是一段 js 腳本,在瀏覽器中使用 script 標(biāo)簽引入、加載成功后,會(huì)直接執(zhí)行其中的 callback 方法,以參數(shù)的形象直接返回真正有用的接口數(shù)據(jù),以此達(dá)到跨域請(qǐng)求的目的。但是如果在非瀏覽器環(huán)境(node執(zhí)行環(huán)境)中怎么來抓取呢,本文就主要介紹一下,服務(wù)端nodejs抓取jsonp接口數(shù)據(jù) 的思路方法和踩過的坑。
出于好奇,最近在研究使用 node 程序分析股票的數(shù)據(jù),看看能不能找到一些規(guī)律。
但前提是要獲取一批數(shù)據(jù),所以查看了幾個(gè)相關(guān)的網(wǎng)站平臺(tái),通過開發(fā)者工具的 network 查看,其中接口數(shù)據(jù)基本都是使用 jsonp 格式的。
溫馨提示: 不要過度頻繁爬取數(shù)據(jù),可能涉及網(wǎng)絡(luò)安全問題。
方法思路
- 在
node服務(wù)端使用axios獲取jsonp返回的內(nèi)容 - 使用
typeof查看返回內(nèi)容的類型 - 解析
jsonp返回的內(nèi)容、執(zhí)行其中的callback方法
關(guān)鍵在于這第三步,在 node 環(huán)境中如何動(dòng)態(tài)的執(zhí)行這一段 String 類型的代碼。
Node環(huán)境動(dòng)態(tài)執(zhí)行腳本
eval()
直接調(diào)用,使用本地作用域。
function test() {
let x = 10, y = 20;
let sum = eval('x + y')
console.log(sum); // 30
}
Function
與 eval 不同的是,Function 創(chuàng)建的函數(shù)只能在全局作用域中運(yùn)行。test() 執(zhí)行會(huì)報(bào)錯(cuò):ReferenceError: x is not defined。
// 報(bào)錯(cuò)
function test() {
let x = 10, y = 20;
let fn = new Function('return x + y')
let sum = fn()
console.log(sum) // ReferenceError: x is not defined
}
// 正常執(zhí)行
global.x = 10
global.y = 20
function test() {
let fn = new Function('return x + y')
let sum = fn()
console.log(sum) // 30
}
vm.runInThisContext (推薦)
vm 是 node 的核心模塊,vm 可以使用 v8 的 Virtual Machine contexts 動(dòng)態(tài)地編譯和執(zhí)行代碼,而代碼的執(zhí)行上下文與當(dāng)前進(jìn)程隔離。
被執(zhí)行的代碼無法獲取本地作用域,只能在當(dāng)前的 global 對(duì)象的上下文中編譯并執(zhí)行 code 。
const vm = require('vm')
global.x = 10
global.y = 20
function test() {
let sum = vm.runInThisContext('x + y')
console.log(sum) // 30
}
完整代碼實(shí)現(xiàn)
// index.js
const vm = require('vm')
const axios = require('axios')
// 在 global 對(duì)象上掛載對(duì)應(yīng)的 callback 方法
global.jQuery11230971606670044967_1649312313646 = function(res) {
// jsonp 接口返回的數(shù)據(jù)
console.log(res)
// do something
}
async function getData() {
let { data } = await axios({
url: 'https://push2.eastmoney.com/api/qt/clist/get?cb=jQuery11230971606670044967_1649312313646&fid=f62&po=1&pz=10&pn=1&np=1&fltt=2&invt=2&fs=m%3A90+t%3A3&stat=1&fields=f12%2Cf14%2Cf2%2Cf3%2Cf62%2Cf184%2Cf66%2Cf69%2Cf72%2Cf75%2Cf78%2Cf81%2Cf84%2Cf87%2Cf204%2Cf205%2Cf124&ut=b2884a393a59ad64002292a3e90d46a5'
})
// 查看返回內(nèi)容的類型
console.log(typeof data)
// 執(zhí)行 callback
vm.runInThisContext(data)
}
// 調(diào)用抓取數(shù)據(jù)的方法
getData()
特別提醒:瀏覽器環(huán)境與 Node 執(zhí)行環(huán)境掛載全局對(duì)象是有區(qū)別的。
在瀏覽器環(huán)境中,全局作用域可以使用 var 來聲明一個(gè)變量或方法,會(huì)自動(dòng)掛載到 window 對(duì)象上;
但是在 Node 環(huán)境中,每個(gè)文件或者模塊,都會(huì)被封閉在一個(gè)單獨(dú)的作用域,因此不管在哪里聲明的變量,相對(duì)于當(dāng)前模塊或文件,都是在局部作用域,不會(huì)自動(dòng)掛載到全局 global 對(duì)象中,如果要使用必須手動(dòng)去掛載。
以上就是服務(wù)端nodejs抓取jsonp接口數(shù)據(jù)實(shí)現(xiàn)示例的詳細(xì)內(nèi)容,更多關(guān)于nodejs抓取jsonp接口數(shù)據(jù)的資料請(qǐng)關(guān)注腳本之家其它相關(guān)文章!
相關(guān)文章
Node.js版本升級(jí)如何修改模塊默認(rèn)的保存位置
這篇文章主要給大家介紹了關(guān)于Node.js版本升級(jí)如何修改模塊默認(rèn)的保存位置,文中通過代碼以及圖文介紹的非常詳細(xì),對(duì)大家學(xué)習(xí)或者使用node.js具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2024-05-05
puppeteer實(shí)現(xiàn)html截圖的示例代碼
通過Puppeteer的提供的api直接控制Chrome模擬大部分用戶操作來進(jìn)行UI Test或者作為爬蟲訪問頁(yè)面來收集數(shù)據(jù),這篇文章主要介紹了puppeteer實(shí)現(xiàn)截圖的示例代碼,感興趣的可以了解一下2019-01-01
Nodejs多站點(diǎn)切換Htpps協(xié)議詳解及簡(jiǎn)單實(shí)例
這篇文章主要介紹了Nodejs多站點(diǎn)切換Htpps協(xié)議詳解及簡(jiǎn)單實(shí)例的相關(guān)資料,需要的朋友可以參考下2017-02-02
Nodejs學(xué)習(xí)筆記之Global Objects全局對(duì)象
本文是NodeJS學(xué)習(xí)筆記系列文章的第二篇,從這篇開始我們就根據(jù)官方文檔來逐個(gè)學(xué)習(xí)下NodeJS的各個(gè)模塊,首先我們來學(xué)習(xí)下Global2015-01-01
node+koa實(shí)現(xiàn)數(shù)據(jù)mock接口的方法
本篇文章主要介紹了node+koa實(shí)現(xiàn)數(shù)據(jù)mock接口的方法,小編覺得挺不錯(cuò)的,現(xiàn)在分享給大家,也給大家做個(gè)參考。一起跟隨小編過來看看吧2017-09-09

