DataSphere Studio（簡(jiǎn)稱DSS）是微眾銀行自研的一站式數(shù)據(jù)應(yīng)用開發(fā)管理門戶。

DataSphereStudio一站式數(shù)據(jù)應(yīng)用開發(fā)管理門戶基于插拔式的集成框架設(shè)計(jì)，及計(jì)算中間件 Linkis ，可輕松接入上層各種數(shù)據(jù)應(yīng)用系統(tǒng)，讓數(shù)據(jù)開發(fā)變得簡(jiǎn)潔又易用。

在統(tǒng)一的UI下，DataSphere Studio以工作流式的圖形化拖拽開發(fā)體驗(yàn)，將滿足從數(shù)據(jù)交換、脫敏清洗、分析挖掘、質(zhì)量檢測(cè)、可視化展現(xiàn)、定時(shí)調(diào)度到數(shù)據(jù)輸出應(yīng)用等，數(shù)據(jù)應(yīng)用開發(fā)全流程場(chǎng)景需求。

DSS通過(guò)插拔式的集成框架設(shè)計(jì)，讓用戶可以根據(jù)需要，簡(jiǎn)單快速替換DSS已集成的各種功能組件，或新增功能組件。

借助于 Linkis 計(jì)算中間件的連接、復(fù)用與簡(jiǎn)化能力，DSS天生便具備了金融級(jí)高并發(fā)、高可用、多租戶隔離和資源管控等執(zhí)行與調(diào)度能力。

核心特點(diǎn)

DSS主要特點(diǎn)：

一、一站式、全流程的應(yīng)用開發(fā)管理界面

DSS集成度極高，目前已集成的系統(tǒng)有：

1、數(shù)據(jù)開發(fā)IDE工具——Scriptis

2、數(shù)據(jù)可視化工具——Visualis（基于宜信Davinci二次開發(fā)）

3、數(shù)據(jù)質(zhì)量管理工具——Qualitis

4、工作流調(diào)度工具——Azkaban

DSS插拔式的框架設(shè)計(jì)模式，允許用戶快速替換DSS已集成的各個(gè)Web系統(tǒng)。如：將Scriptis替換成Zeppelin，將Azkaban替換成DolphinScheduler。

二、基于Linkis計(jì)算中間件，打造獨(dú)有的AppJoint設(shè)計(jì)理念

AppJoint，是DSS可以簡(jiǎn)單快速集成各種上層Web系統(tǒng)的核心概念。

AppJoint——應(yīng)用關(guān)節(jié)，定義了一套統(tǒng)一的前后臺(tái)接入規(guī)范，可讓外部數(shù)據(jù)應(yīng)用系統(tǒng)快速簡(jiǎn)單地接入，成為DSS數(shù)據(jù)應(yīng)用開發(fā)中的一環(huán)。

DSS通過(guò)串聯(lián)多個(gè)AppJoint，編排成一條支持實(shí)時(shí)執(zhí)行和定時(shí)調(diào)度的工作流，用戶只需簡(jiǎn)單拖拽即可完成數(shù)據(jù)應(yīng)用的全流程開發(fā)。

由于AppJoint對(duì)接了Linkis，外部數(shù)據(jù)應(yīng)用系統(tǒng)因此具備了資源管控、并發(fā)限流、用戶資源管理等能力，且允許上下文信息跨系統(tǒng)級(jí)共享，徹底告別應(yīng)用孤島。

三、Project級(jí)管理單元

以Project為管理單元，組織和管理各數(shù)據(jù)應(yīng)用系統(tǒng)的業(yè)務(wù)應(yīng)用，定義了一套跨數(shù)據(jù)應(yīng)用系統(tǒng)的項(xiàng)目協(xié)同開發(fā)通用標(biāo)準(zhǔn)。

四、已集成的數(shù)據(jù)應(yīng)用組件

DSS通過(guò)實(shí)現(xiàn)多個(gè)AppJoint，已集成了豐富多樣的各種上層數(shù)據(jù)應(yīng)用系統(tǒng)，基本可滿足用戶的數(shù)據(jù)開發(fā)需求。

用戶如果有需要，也可以輕松集成新的數(shù)據(jù)應(yīng)用系統(tǒng)，以替換或豐富DSS的數(shù)據(jù)應(yīng)用開發(fā)流程。

1、DSS的調(diào)度能力——Azkaban AppJoint

用戶的很多數(shù)據(jù)應(yīng)用，通常希望具備周期性的調(diào)度能力。

目前市面上已有的開源調(diào)度系統(tǒng)，與上層的其他數(shù)據(jù)應(yīng)用系統(tǒng)整合度低，且難以融通。

DSS通過(guò)實(shí)現(xiàn)Azkaban AppJoint，允許用戶將一個(gè)編排好的工作流，一鍵發(fā)布到Azkaban中進(jìn)行定時(shí)調(diào)度。

DSS還為調(diào)度系統(tǒng)定義了一套標(biāo)準(zhǔn)且通用的DSS工作流解析發(fā)布規(guī)范，讓其他調(diào)度系統(tǒng)可以輕松與DSS實(shí)現(xiàn)低成本對(duì)接。

2、數(shù)據(jù)開發(fā)——Scriptis AppJoint

什么是Scriptis?

Scriptis是一款支持在線寫SQL、Pyspark、HiveQL等腳本，提交給Linkis執(zhí)行的數(shù)據(jù)分析Web工具，且支持UDF、函數(shù)、資源管控和智能診斷等企業(yè)級(jí)特性。

Scriptis AppJoint為DSS集成了Scriptis的數(shù)據(jù)開發(fā)能力，并允許Scriptis的各種腳本類型，作為DSS工作流的節(jié)點(diǎn)，參與到應(yīng)用開發(fā)的流程中。

目前已支持HiveSQL、SparkSQL、Pyspark、Scala等腳本節(jié)點(diǎn)類型。

3、數(shù)據(jù)可視化——Visualis AppJoint

什么是Visualis?

Visualis是一個(gè)基于宜信開源項(xiàng)目Davinci二次開發(fā)的數(shù)據(jù)可視化BI工具，為用戶在數(shù)據(jù)安全和權(quán)限方面，提供金融級(jí)數(shù)據(jù)可視化能力。

Visualis AppJoint為DSS集成了Visualis的數(shù)據(jù)可視化能力，并允許數(shù)據(jù)大屏和儀表盤，作為DSS工作流的節(jié)點(diǎn)，與上游的數(shù)據(jù)集市關(guān)聯(lián)起來(lái)。

4、數(shù)據(jù)質(zhì)量——Qualitis AppJoint

Qualitis AppJoint 為DSS集成數(shù)據(jù)質(zhì)量校驗(yàn)?zāi)芰?，將?shù)據(jù)質(zhì)量系統(tǒng)集成到DSS工作流開發(fā)中，對(duì)數(shù)據(jù)完整性、正確性等進(jìn)行校驗(yàn)。

5、數(shù)據(jù)發(fā)送——Sender AppJoint

Sender AppJoint為DSS集成數(shù)據(jù)發(fā)送能力，目前支持SendEmail節(jié)點(diǎn)類型，所有其他節(jié)點(diǎn)的結(jié)果集，都可以通過(guò)郵件發(fā)送。

例如：SendEmail節(jié)點(diǎn)可直接將Display數(shù)據(jù)大屏作為郵件發(fā)送出來(lái)。

6、信號(hào)節(jié)點(diǎn)——Signal AppJoint

EventChecker AppJoint用于強(qiáng)化業(yè)務(wù)與流程之間的解耦和相互關(guān)聯(lián)。

DataChecker節(jié)點(diǎn)：檢查庫(kù)表分區(qū)是否存在。

EventSender: 跨工作流和工程的消息發(fā)送節(jié)點(diǎn)。

EventReceiver: 跨工作流和工程的消息接收節(jié)點(diǎn)。

7、功能節(jié)點(diǎn)

空節(jié)點(diǎn)、子工作流節(jié)點(diǎn)。

8、節(jié)點(diǎn)擴(kuò)展

根據(jù)需要，用戶可以簡(jiǎn)單快速替換DSS已集成的各種功能組件，或新增功能組件。

使用場(chǎng)景

DataSphere Studio適用于以下場(chǎng)景：

1. 正在籌建或初步具備大數(shù)據(jù)平臺(tái)能力，但無(wú)任何數(shù)據(jù)應(yīng)用工具的場(chǎng)景。

2. 已具備大數(shù)據(jù)基礎(chǔ)平臺(tái)能力，且僅有少數(shù)數(shù)據(jù)應(yīng)用工具的場(chǎng)景。

3. 已具備大數(shù)據(jù)基礎(chǔ)平臺(tái)能力，且擁有全部數(shù)據(jù)應(yīng)用工具，但工具間尚未打通，用戶使用隔離感強(qiáng)、學(xué)習(xí)成本高的場(chǎng)景。

4. 已具備大數(shù)據(jù)基礎(chǔ)平臺(tái)能力，且擁有全部數(shù)據(jù)應(yīng)用工具，部分工具已實(shí)現(xiàn)對(duì)接，但尚未定義統(tǒng)一規(guī)范的場(chǎng)景。