1 前言

Spring Cloud Data Flow是什么，雖然已經(jīng)出現(xiàn)一段時(shí)間了，但想必很多人不知道，因?yàn)樵陧?xiàng)目中很少有人用。不僅找不到很多中文資料，英文資料也一樣少的可憐。這讓探索的路更加艱辛，也更加有趣吧。

Spring Cloud Data Flow是基于微服務(wù)的，專門用于流式和批式數(shù)據(jù)處理的框架。

2 基本概念

2.1 數(shù)據(jù)處理模式

數(shù)據(jù)處理有兩種模式，分別是Streaming流式處理和Batch批次處理。Streaming是長時(shí)間一直存在的，你數(shù)據(jù)來了我就處理，沒來我就等著，基于消息驅(qū)動(dòng)。Batch是處理時(shí)間較短的，啟動(dòng)一次處理一次，處理完就退出任務(wù)，需要去觸發(fā)任務(wù)。

一般地，我們會(huì)基于Spring Cloud Stream框架來開發(fā)Streaming應(yīng)用，而基于Spring Cloud Task或Spring Batch框架來開發(fā)Batch應(yīng)用。完成開發(fā)后，可以打包成兩種形式：

• （1）Springboot式的jar包，可以放在maven倉庫、文件目錄或HTTP服務(wù)上；
• （2）Docker鏡像。

對(duì)于Stream，有三個(gè)概念是需要理解的：

• （1）Source：消息生產(chǎn)者，負(fù)責(zé)把消息發(fā)送到某個(gè)目標(biāo)；
• （2）Sink：消息消費(fèi)者，負(fù)責(zé)從某個(gè)目標(biāo)讀取消息；
• （3）Processor：聯(lián)合Source和Sink，它從某個(gè)目標(biāo)消費(fèi)消息，然后發(fā)送到另一個(gè)目標(biāo)。

2.2 特性

Spring Cloud Data Flow有許多好的特性值得我們學(xué)去使用它：

• 基于云的架構(gòu)，可部署在Cloud Foundry、Kubernetes或OpenShift等。
• 有許多可選擇的開箱即用的流處理和批處理應(yīng)用組件。
• 可自定義應(yīng)用組件，且是基于Springboot風(fēng)格的編程模型。
• 有簡單靈活的DSL（Domain Specific Language）去定義任務(wù)處理邏輯。
• 有美觀的Dashboard能可視化地定義處理邏輯、管理應(yīng)用、管理任務(wù)等。
• 提供了REST API，可以在shell命令行模式下進(jìn)行交互。

2.3 服務(wù)端組件

服務(wù)端有兩個(gè)重要的組件：Data Flow Server和Skipper Server。兩者作用不同，互相協(xié)作。

Data Flow Server的主要作用有：

• 解析DSL；校驗(yàn)和持久化Stream、Task和Batch的定義；
• 注冊(cè)應(yīng)用如jar包應(yīng)用和docker應(yīng)用；
• 部署Batch到一個(gè)或多個(gè)平臺(tái)；
• 查詢Job和Batch的歷史執(zhí)行記錄；
• Stream的配置管理；
• 分發(fā)Stream部署到Skipper。
• Skipper Server主要作用有：
• 部署Stream到一個(gè)或多個(gè)平臺(tái)；
• 基于有灰度/綠色更新策略地更新或回滾Stream；
• 保存每一個(gè)Stream的描述信息。

可以看出，如果不需要使用Stream，可以不用部署Skipper。兩者都需要依賴關(guān)系型數(shù)據(jù)庫（RDBMS），默認(rèn)會(huì)使用內(nèi)置的H2，支持的數(shù)據(jù)庫有H2、HSQLDB、MYSQL、Oracle、PostgreSql、DB2和SqlServer。

2.4 運(yùn)行環(huán)境

優(yōu)秀的Spring的解耦能力總是特別強(qiáng)，Server和應(yīng)用可以運(yùn)行在不同的平臺(tái)。我們可以把Data Flow Server和Skipper Server部署在Local、Cloud Foundry和Kuernetes，而Server又可以把應(yīng)用部署在不同的平臺(tái)。

• 服務(wù)端Local：應(yīng)用Local/Cloud Foundry/Kuernetes；
• 服務(wù)端Cloud Foundry：應(yīng)用Cloud Foundry/Kuernetes；
• 服務(wù)端Kuernetes：應(yīng)用Cloud Foundry/Kuernetes。

一般情況下，我們會(huì)把Server和應(yīng)用部署在同一平臺(tái)上。對(duì)于生產(chǎn)環(huán)境，建議還是在Kuernetes上比較合適。

3 本地模式安裝使用

為了快速體驗(yàn)，我們使用最簡單的本地運(yùn)行環(huán)境。

3.1 下載Jar包

下載以下三個(gè)jar包：

wget https://repo.spring.io/release/org/springframework/cloud/spring-cloud-dataflow-server/2.5.3.RELEASE/spring-cloud-dataflow-server-2.5.3.RELEASE.jar
wget https://repo.spring.io/release/org/springframework/cloud/spring-cloud-dataflow-shell/2.5.3.RELEASE/spring-cloud-dataflow-shell-2.5.3.RELEASE.jar
wget https://repo.spring.io/release/org/springframework/cloud/spring-cloud-skipper-server/2.4.3.RELEASE/spring-cloud-skipper-server-2.4.3.RELEASE.jar

如果是簡單的Batch應(yīng)用，可以只下載spring-cloud-dataflow-server-2.5.3.RELEASE.jar。

3.2 啟動(dòng)應(yīng)用

# 啟動(dòng)Skipper，默認(rèn)端口為7577
java -jar spring-cloud-skipper-server-2.4.3.RELEASE.jar
# 啟動(dòng)Data Flow Server，默認(rèn)端口為9393
java -jar spring-cloud-dataflow-server-2.5.3.RELEASE.jar

啟動(dòng)完成后，訪問UI：http://localhost:9393/dashboard

3.3 部署應(yīng)用

3.3.1 添加應(yīng)用Applications

只有添加了應(yīng)用，才能部署Batch和Stream。官方提供了示例Applications，我們直接使用就可以了：

添加成功后，在應(yīng)用列表可以查看：

3.3.2 創(chuàng)建Task

創(chuàng)建Task可以圖形化創(chuàng)建，也可以通過DSL來創(chuàng)建，非常方便：

定義好Task后，輸入名字創(chuàng)建：

3.3.3 運(yùn)行Task

直接點(diǎn)擊運(yùn)行：

可以傳入?yún)?shù)：

3.3.4 查看Task運(yùn)行情況

可以查看運(yùn)行日志：

3.4 Data Flow Shell命令行

除了在網(wǎng)頁上，還可以通過命令行模式來與Server進(jìn)行交互。

啟動(dòng)應(yīng)用：

$ java -jar spring-cloud-dataflow-shell-2.5.3.RELEASE.jar 
 ____    ____ _  __
 / ___| _ __ _ __(_)_ __ __ _ / ___| | ___ _ _ __| |
 \___ \| '_ \| '__| | '_ \ / _` | | | | |/ _ \| | | |/ _` |
 ___) | |_) | | | | | | | (_| | | |___| | (_) | |_| | (_| |
 |____/| .__/|_| |_|_| |_|\__, | \____|_|\___/ \__,_|\__,_|
 ____ |_| _  __|___/   __________
 | _ \ __ _| |_ __ _ | ___| | _____ __ \ \ \ \ \ \
 | | | |/ _` | __/ _` | | |_ | |/ _ \ \ /\ / / \ \ \ \ \ \
 | |_| | (_| | || (_| | | _| | | (_) \ V V / / / / / / /
 |____/ \__,_|\__\__,_| |_| |_|\___/ \_/\_/ /_/_/_/_/_/

2.5.3.RELEASE

Welcome to the Spring Cloud Data Flow shell. For assistance hit TAB or type "help".
Successfully targeted http://localhost:9393/

dataflow:>app list
╔═══╤══════╤═════════╤════╤════════════════════╗
║app│source│processor│sink│ task ║
╠═══╪══════╪═════════╪════╪════════════════════╣
║ │ │  │ │composed-task-runner║
║ │ │  │ │timestamp-batch ║
║ │ │  │ │timestamp  ║
╚═══╧══════╧═════════╧════╧════════════════════╝

dataflow:>

4 總結(jié)

本文使用的是官方提供的應(yīng)用，我們可以自己開發(fā)應(yīng)用并注冊(cè)到Server上。Local模式適合開發(fā)環(huán)境適合，生產(chǎn)環(huán)境還是部署在Kubernetes比較靠譜。后面我們?cè)賮硖剿靼伞?/p>

到此這篇關(guān)于Spring Cloud Data Flow初體驗(yàn)以Local模式運(yùn)行的文章就介紹到這了,更多相關(guān)Spring Cloud Data Flow初體驗(yàn)內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！