springboot引用kettle實現(xiàn)對接oracle數(shù)據(jù)的示例代碼
簡單記錄一下springboot引用kettle對接數(shù)據(jù)
第一步(這一步講述了下載kettle、創(chuàng)建數(shù)據(jù)庫連接、轉換等,如果這一步會的可以略過,直接看第二步)
先從kettle官網(wǎng)下載kettle,官網(wǎng)地址:https://sourceforge.net/projects/pentaho/
進入官網(wǎng)后點擊files,選擇需要的版本進行下載

下載完成后是一個壓縮包,免安裝的,選擇一個路徑,將壓縮包解壓,解壓后進入到data-integration目錄,該目錄下有一個Spoon.bat文件,雙擊即可運行

打開后界面是這樣的

然后選擇依次點擊文件->新建->轉換就可以編輯對接數(shù)據(jù)的邏輯了

在編輯對接程序之前,是需要先設置一下數(shù)據(jù)庫信息的,在這里說明一下,新解壓的kettle沒有oracle的驅動,需要手動的下載一個ojdbc的jar包放到\data-integration\lib目錄下,否則測試連接的時候會報錯(以oracle的為例,如果是其他數(shù)據(jù)庫請忽略這一步,直接看下邊)

放好以后,需要關掉kettle重啟一下才行,我這里放的是ojdbc7,至于其他類型的數(shù)據(jù)庫我還沒有測試,不知道是不是也會出現(xiàn)這種情況,如果也出現(xiàn)這種情況的話,就下載一個相對應的驅動,放到data-integration\lib目錄下就行
接下來就是在新建的轉換當中選擇工具->向導->創(chuàng)建數(shù)據(jù)庫連接向導(這一步可以將要讀取的數(shù)據(jù)庫和要寫入的數(shù)據(jù)庫都配置好,這樣在編寫對接邏輯的時候就不用在返回來重做這一步了)

根據(jù)向導,選擇要讀取的數(shù)據(jù)庫或者寫入的數(shù)據(jù)庫類型,給連接起個名字,點擊next

然后是配置數(shù)據(jù)庫信息,服務器主機名稱就是ip地址,tcp/ip端口就是數(shù)據(jù)庫的端口,例如oracle的就是1521,數(shù)據(jù)庫名稱就是數(shù)據(jù)庫的連接符,例如oracle的orcl,填好后繼續(xù)點擊next

然后會出現(xiàn)讓選擇數(shù)據(jù)表空間和索引表空間的步驟,這一步可以選擇不填,繼續(xù)點擊next,就到了最后一步,在這里填入數(shù)據(jù)庫的賬號密碼,點擊測試數(shù)據(jù)庫連接

編輯好數(shù)據(jù)庫后,接下來就是編輯對接邏輯了,這里就先簡單的寫個步驟,復雜的需要自己慢慢體會
首先在窗口的左側核心對象下,從輸入標簽中找到表輸入,雙擊或者拖拽都行,拖拽的話是往右側轉換里拖拽,這個表輸入就是要讀取的數(shù)據(jù),然后關閉輸入標簽,或者向下滑動,找到輸出標簽,從輸出標簽中找到插入/更新,同樣以雙擊或拖拽的方式加入到轉換里,這個是要寫入的數(shù)據(jù),然后按住shift鍵,先點擊表輸入,再點擊插入/更新,這樣這個節(jié)點就創(chuàng)建好了

創(chuàng)建好節(jié)點連接后,就需要編輯表輸入和插入/更新了,表輸入就是要讀取的數(shù)據(jù),插入/更新就是要寫入的數(shù)據(jù),雙擊表輸入

雙擊更新/插入

當這兩個編輯好后,保存一下,就會生成一個ktr文件。
至此,在可視化界面中創(chuàng)建ktr文件的步驟就完成了
第二步,將生成的ktr文件集成到springboot里面
首先需要注意的是,相關依賴一定要引用全了,不然運行時會出現(xiàn)很多異常,我就是這樣,公司同時給的代碼,在他那里可以運行,到我這里以后就各種異常往外報,耗費一天的時間,終于可以進行數(shù)據(jù)對接了,下面記錄一下需要引入的依賴
<!--kettle相關依賴-->
<dependency>
<groupId>pentaho-kettle</groupId>
<artifactId>kettle-core</artifactId>
<version>9.0.0.3-582</version>
</dependency>
<dependency>
<groupId>pentaho-kettle</groupId>
<artifactId>kettle-engine</artifactId>
<version>9.0.0.3-582</version>
</dependency>
<dependency>
<groupId>pentaho-kettle</groupId>
<artifactId>kettle-dbdialog</artifactId>
<version>9.0.0.3-582</version>
</dependency>
<!--以上三個是最主要的依賴,相關jar包可以從kettle官網(wǎng)下載的下來的工具里面找,具體路徑是:\kettle\data-integration\lib\下面,版本就對應上下載的工具版本就行,下面的是其他一些相關引用-->
<dependency>
<groupId>com.google.guava</groupId>
<artifactId>guava</artifactId>
<version>29.0-jre</version>
</dependency>
<dependency>
<groupId>pentaho</groupId>
<artifactId>metastore</artifactId>
<version>9.1.0.6-517</version>
</dependency>
<dependency>
<groupId>org.apache.commons</groupId>
<artifactId>commons-vfs2</artifactId>
<version>2.9.0</version>
</dependency>
<dependency>
<groupId>org.apache.commons</groupId>
<artifactId>commons-lang</artifactId>
<version>2.6</version>
</dependency>
<dependency>
<groupId>commons-io</groupId>
<artifactId>commons-io</artifactId>
<version>2.5</version>
</dependency>
<dependency>
<groupId>commons-codec</groupId>
<artifactId>commons-codec</artifactId>
<version>1.9</version>
</dependency>
<!--kettle相關依賴-->
至于對接的代碼就比較簡單了,網(wǎng)上到處都有,這里我也記錄一下吧
try {
//初始化kettle //如果初始化失敗,當加載完ktr文件后,會報database type with plugin id [Oracle] couldn't be found!
KettleEnvironment.init();
} catch (KettleException e1) {
e1.printStackTrace();
}try {
//加載kettle的ktr文件
String url=this.getClass().getClassLoader().getResource("test.ktr").getPath();
System.out.println("########################"+url);
TransMeta transMeta = new TransMeta(url);
transMeta.setLogLevel(LogLevel.DEBUG);
Trans trans = new Trans(transMeta);
trans.prepareExecution(null);
trans.startThreads();
trans.waitUntilFinished();
} catch (Exception e) {
// TODO: handle exception
e.printStackTrace();
}總結:其實kettle集成到springboot里面沒有多少代碼,這個功能最主要的還是ktr文件的編寫,只要ktr編寫好了,放到指定文件夾下,寫個定時任務就完事了,如果以上內容有什么不對的地方,還望各路大神指出,我加以修正
到此這篇關于springboot引用kettle實現(xiàn)對接oracle數(shù)據(jù)的文章就介紹到這了,更多相關springboot集成kettle對接oracle數(shù)據(jù)內容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家!
相關文章
SpringBoot整合EasyExcel?3.x的完整示例
EasyExcel 是一個基于 Java 的、快速、簡潔、解決大文件內存溢出的 Excel 處理工具,它能讓你在不用考慮性能、內存的等因素的情況下,快速完成 Excel 的讀、寫等功能,這篇文章主要介紹了SpringBoot整合EasyExcel3.x的過程,需要的朋友可以參考下2023-07-07
SpringBoot使用RestTemplate如何通過http請求將文件下載到本地
文章介紹了如何通過編寫代碼批量下載文件,解決了沒有提供批量下載接口的問題,首先篩選出需要下載的文件ID,然后通過后端代碼發(fā)起HTTP請求,將下載的資源寫入本地文件中,總結了實現(xiàn)方式和注意事項,希望能為類似任務提供參考2025-02-02
使用Jenkins Pipeline自動化構建發(fā)布Java項目的方法
這篇文章主要介紹了使用Jenkins Pipeline自動化構建發(fā)布Java項目的方法,小編覺得挺不錯的,現(xiàn)在分享給大家,也給大家做個參考。一起跟隨小編過來看看吧2019-04-04

