基于Java8實現(xiàn)提高Excel讀寫效率
在POI的使用過程中,對大多數(shù)API User來說經(jīng)常面臨兩個問題,這也是GridExcel致力解決的問題。
問題1. 僅使用簡單的導入導出功能,但每次業(yè)務的數(shù)據(jù)對象結構不同,需要重新編寫處理方法,很麻煩!
解決方法
將Excel處理邏輯抽取出來,封裝成工具類。
封裝條件
與大多數(shù)Java API一樣,POI把更多的精力放在高級功能的處理上,比如Formula(公式)、Conditional Formatting(條件格式)、Zoom(縮放)等。對于僅僅做數(shù)據(jù)導入導出功能的API User,很少使用這些高級特性,這允許API用戶對POI的使用進行簡單的封裝。
封裝方式
無論是讀是寫,我們都需要解決Excel中的Columns(列)與Java數(shù)據(jù)對象Fields(字段)的映射關系,將這種映射關系作為參數(shù)(Map對象HashMap或LinkedHashMap),傳遞給工具類。
對于Columns不難理解,它可以是有序的數(shù)字或字母,也可以是其它字符串用來作為首行,表示該列數(shù)據(jù)的含義。
對于Fields,它的處理需要兼容復雜情況,如下:
- 查詢字段時出現(xiàn)異常
- 字段或單元格的值為null
- 該列的值可能對應關聯(lián)對象、甚至是關聯(lián)集合中的某個字段值
- 字段或單元格的值需要做特殊處理,例如value == true?完成:失敗;
反射
首先想到,也是大多數(shù)封裝者都在使用的方式是就是Reflection API,從上文 函數(shù)編程 章節(jié)我們了解到,反射重量級,會降低代碼的性能,同時對復雜情況的處理支持性不夠好。
反射+注解
這種方式可以更好的支持復雜情況,但是反射依然會降低性能,同時注解對數(shù)據(jù)對象會造成代碼侵入,而且對該工具類封裝者的其他使用者無疑會增加學習成本。
匿名內(nèi)部類
這種方式也可以很好的支持復雜情況,但是使用匿名內(nèi)部類的語法顯然患有“垂直問題”(這意味著代碼需要太多的線條來表達基本概念),太過冗雜。至于性能,應該也不如直接傳遞函數(shù)來的快吧。
函數(shù)接口(Lambda)
這種方式是基于第5條方法調(diào)用的字節(jié)碼指令invokeDynamic實現(xiàn)的,直接傳遞函數(shù)代碼塊,很好的支持復雜情況,性能較高,代碼編寫更簡單結構更加簡潔,而且對數(shù)據(jù)對象代碼零侵入。
當然如果你還沒有使用Java1.8或更高版本,那么你可以參考匿名內(nèi)部類或反射+注解,不過還是推薦反射+注解,Alibaba/easyexcel【https://github.com/alibaba/easyexcel】對你來說會是不錯的選擇。
問題2. Excel導入或?qū)С鰯?shù)據(jù)量比較大,造成內(nèi)存溢出或頻繁的Full GC,該如何解決?
解決方法
- 讀Excel —— eventmodel
- 寫Excel —— streaming.SXSSFWorkbook
原理
POI的使用對我們來說很常見,對下面兩個概念應該并不陌生:
- HSSFWorkbook(處理97(-2007) 的.xls)
- XSSFWorkbook(處理2007 OOXML (.xlsx) )
但是對于eventmodel和streaming.SXSSFWorkbook就很少接觸了,它們是POI提供的專門用來解決內(nèi)存占用問題的low level API(低級API),使用它們可以讀寫數(shù)據(jù)量非常大的Excel,同時可以避免內(nèi)存溢出或頻繁的Full GC?!緃ttps://poi.apache.org/components/spreadsheet/how-to.html】
eventmodel,用來讀Excel,并沒有將Excel整個加載到內(nèi)存中,而是允許用戶從InputStream每讀取一些信息,就交給回調(diào)函數(shù)或監(jiān)聽器,至于丟棄,存儲還是怎么處理這些內(nèi)容,都交由用戶。
streaming.SXSSFWorkbook,用來寫Excel(是對XSSFWorkbook的封裝,僅支持.xlsx),通過滑動窗口來實現(xiàn),只在內(nèi)存中保留滑動窗口允許存在的行數(shù),超出的行Rows被寫出到臨時文件,當調(diào)用write(OutputStream stream)方法寫出內(nèi)容時,再直接從臨時內(nèi)存寫出到目標OutputStream。SXSSFWorkbook的使用會產(chǎn)生一些局限性。
- Only a limited number of rows are accessible at a point in time.
- Sheet.clone() is not supported.
- Formula evaluation is not supported
解決途徑
https://github.com/liuhuagui/gridexcel 基于Java函數(shù)編程(Lambda),支持流式API,使用環(huán)境Java1.8或更高,學習成本:
Lambda
https://github.com/alibaba/easyexcel 基于反射+注解+監(jiān)聽器,使用環(huán)境Java1.6或以上,學習成本:模型注解
實際上POI官網(wǎng)已經(jīng)給了用戶使用示例,而上述兩個工具都只是做了自己的封裝實現(xiàn),使用者只需要拿來用就好。
快速使用
<dependency> <groupId>com.github.liuhuagui</groupId> <artifactId>gridexcel</artifactId> <version>2.2</version> </dependency>
GridExcel.java
GridExcel.java提供了多種靜態(tài)方法,可以直接使用,具體式例可參考測試代碼(提供了測試數(shù)據(jù)和測試文件):
https://github.com/liuhuagui/gridexcel/blob/master/src/test/java/ReadTest.java
https://github.com/liuhuagui/gridexcel/blob/master/src/test/java/WriteTest.java
流式API
/**
* 業(yè)務邏輯處理方式三選一:
* 1.啟用windowListener,并將業(yè)務邏輯放在該函數(shù)中。
* 2.不啟用windowListener,使用get()方法取回全部數(shù)據(jù)集合,做后續(xù)處理。
* 3.readFunction函數(shù),直接放在函數(shù)中處理 或 使用final or effective final的局部變量存放這寫數(shù)據(jù),做后續(xù)處理。
* 注意:使用EventModel時readFunction函數(shù)的輸入為每行的cell值集合List<String>。
* @throws Exception
*/
@Test
public void readXlsxByEventModel() throws Exception {
InputStream resourceAsStream = Thread.currentThread().getContextClassLoader().getResourceAsStream("2007.xlsx");
GridExcel.readByEventModel(resourceAsStream,TradeOrder.class,ExcelType.XLSX)
.window(2,ts -> System.out.println(JSON.toJSONString(ts)))//推薦在這里執(zhí)行自己的業(yè)務邏輯
.process(cs ->{
TradeOrder tradeOrder = new TradeOrder();
tradeOrder.setTradeOrderId(Long.valueOf(cs.get(0)));
Consultant consultant = new Consultant();
consultant.setConsultantName(cs.get(3));
tradeOrder.setConsultant(consultant);
tradeOrder.setPaymentRatio(cs.get(16));
return tradeOrder;
},1);
}
/**
* 使用Streaming UserModel寫出數(shù)據(jù)到Excel
* @throws Exception
*/
@Test
public void writeExcelByStreaming() throws Exception {
GridExcel.writeByStreaming(TradeOrder.class)
.head(writeFunctionMap())//對象字段到Excel列的映射
.createSheet()
.process(MockData.data())//模擬數(shù)據(jù)。在這里設置業(yè)務數(shù)據(jù)集合。
.write(FileUtils.openOutputStream(new File("/excel/test.xlsx")));
}
ReadExcel
ReadExcelByUserModel
Use user model to read excel file. userModel ——
缺點:內(nèi)存消耗大,會將excel信息全部加載到內(nèi)存再進行處理。
優(yōu)點:現(xiàn)成的API,使用和理解更簡單。
使用場景:可以處理數(shù)據(jù)量較小的Excel。
ReadExcelByEventModel
Use event model to read excel file. eventModel ——
缺點:沒有現(xiàn)成的API,使用和理解較為復雜,適合中高級程序員(GridExcel的目標之一就是讓EventModel的使用變得簡單)
優(yōu)點:非常小的內(nèi)存占用,并沒有在一開始就將所有內(nèi)容加載到內(nèi)存中,而是把主體內(nèi)容的處理(存儲,使用,丟棄)都交給了用戶,用戶可以自定義監(jiān)聽函數(shù)來處理這些內(nèi)容。
使用場景:可以處理較大數(shù)據(jù)量的Excel,避免OOM和頻繁FullGC
WriteExcel
WriteExcelByUserModel
Use user model to write excel file. userModel ——
缺點:會將產(chǎn)生的spreadsheets對象整個保存在內(nèi)存中,所以write Excel的大小受到堆內(nèi)存(Heap space)大小限制。
優(yōu)點:使用和理解更簡單。
使用場景:可以寫出數(shù)據(jù)量較小的Excel。
WriteExcelByStreaming
Use API-compatible streaming extension of XSSF to write very large excel file. streaming userModel——
缺點:
- 僅支持XSSF;
- Sheet.clone() is not supported;
- Formula evaluation is not supported;
- Only a limited number of rows are accessible at a point in time.
優(yōu)點:通過滑動窗口來實現(xiàn),內(nèi)存中只保留指定size of rows的內(nèi)容,超出部分被寫出到臨時文件,write Excel的大小不再受到堆內(nèi)存(Heap space)大小限制。
使用場景:可以寫出非常大的Excel。
Issues
在使用工具過程中出現(xiàn)問題,有功能添加或改動需求的可以向作者提Issue:https://github.com/liuhuagui/gridexcel/issues
以上就是本文的全部內(nèi)容,希望對大家的學習有所幫助,也希望大家多多支持腳本之家。
- Java中利用Alibaba開源技術EasyExcel來操作Excel表的示例代碼
- Java 設置Excel條件格式示例代碼(高亮條件值、應用單元格值/公式/數(shù)據(jù)條等類型)
- Java中Easypoi實現(xiàn)excel多sheet表導入導出功能
- Java利用POI讀寫Excel文件工具類
- java讀取簡單excel通用工具類
- java讀取excel表格的方法
- java 使用poi 導入Excel數(shù)據(jù)到數(shù)據(jù)庫的步驟
- Java 在Excel中添加分離型餅圖、環(huán)形圖的方法
- vue通過接口直接下載java生成好的Excel表格案例
- Java 導出excel進行換行的案例
- Java 如何快速,優(yōu)雅的實現(xiàn)導出Excel
相關文章
Java自帶的Http?Server實現(xiàn)設置返回值的類型(content-type)
這篇文章主要介紹了Java自帶的Http?Server實現(xiàn)設置返回值的類型(content-type),具有很好的參考價值,希望對大家有所幫助。如有錯誤或未考慮完全的地方,望不吝賜教2022-11-11
Spring Boot利用JSR303實現(xiàn)參數(shù)驗證的方法實例
這篇文章主要給大家介紹了關于Spring Boot利用JSR303實現(xiàn)參數(shù)驗證的相關資料,文中通過示例代碼介紹的非常詳細,對大家學習或者使用Spring Boot具有一定的參考學習價值,需要的朋友們下面來一起學習學習吧2020-05-05
Spring MVC 簡單的hello world的實現(xiàn)
這篇文章主要介紹了Spring MVC 簡單的hello world的實現(xiàn),文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友們下面隨著小編來一起學習學習吧2020-01-01
JavaWeb 文件的上傳和下載功能簡單實現(xiàn)代碼
這篇文章主要介紹了JavaWeb 文件的上傳和下載功能簡單實現(xiàn)代碼,需要的朋友可以參考下2017-04-04
二種jar包制作方法講解(dos打包jar eclipse打包jar文件)
這篇文章主要介紹了二種jar包制作方法講解:dos打包jar和eclipse打包jar文件,大家參考使用吧2013-11-11
導致MyEclipse內(nèi)存不足的原因分析及解決辦法
這篇文章主要介紹了導致MyEclipse內(nèi)存不足的原因分析及解決辦法的相關資料,需要的朋友可以參考下2016-01-01
java使用JDBC連接數(shù)據(jù)庫的五種方式(IDEA版)
這篇文章主要介紹了java使用JDBC連接數(shù)據(jù)庫的五種方式(IDEA版),文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友們下面隨著小編來一起學習學習吧2021-04-04

