現(xiàn)MySQL到Excel高效導(dǎo)出與導(dǎo)入：POI與EasyExcel實(shí)戰(zhàn))
1. 為什么“數(shù)據(jù)庫(kù)到Excel”這個(gè)需求值得認(rèn)真對(duì)待但凡做過(guò)企業(yè)級(jí)應(yīng)用的人幾乎都繞不開(kāi)一個(gè)場(chǎng)景業(yè)務(wù)方跑過(guò)來(lái)說(shuō)“能不能把系統(tǒng)里的數(shù)據(jù)導(dǎo)出來(lái)給我我要在Excel里做分析”?；蛘叻催^(guò)來(lái)“我這邊整理了一份Excel能不能批量導(dǎo)入到系統(tǒng)里”。這個(gè)需求聽(tīng)起來(lái)簡(jiǎn)單得不像個(gè)技術(shù)問(wèn)題但真正動(dòng)過(guò)手的人都知道從MySQL到Excel的導(dǎo)出與導(dǎo)入坑遠(yuǎn)比想象中多。我做過(guò)不少類似的項(xiàng)目從最早用JDBC拼字符串生成CSV到后來(lái)用POI直接寫(xiě)xlsx再到用EasyExcel處理百萬(wàn)行級(jí)別的數(shù)據(jù)每一次都在踩坑中積累經(jīng)驗(yàn)。這篇文章就把我這些年在這個(gè)場(chǎng)景下積累的東西完整梳理一遍從方案選型、核心實(shí)現(xiàn)、性能優(yōu)化到常見(jiàn)問(wèn)題排查盡量做到你拿著就能用。先說(shuō)清楚這個(gè)內(nèi)容適合誰(shuí)看如果你是一個(gè)Java后端開(kāi)發(fā)者手頭有MySQL數(shù)據(jù)庫(kù)需要實(shí)現(xiàn)數(shù)據(jù)的Excel導(dǎo)出和導(dǎo)入功能不管你是剛?cè)胄械男率诌€是有一定經(jīng)驗(yàn)的工程師這篇文章都能給你提供可直接參考的方案。我會(huì)從最基礎(chǔ)的實(shí)現(xiàn)講起逐步深入到性能優(yōu)化和異常處理中間會(huì)穿插大量實(shí)際項(xiàng)目中總結(jié)的經(jīng)驗(yàn)和注意事項(xiàng)。核心關(guān)鍵詞就幾個(gè)Java、MySQL、Excel、導(dǎo)出、導(dǎo)入、Apache POI、EasyExcel。這些詞會(huì)貫穿全文但我不會(huì)為了堆砌而堆砌每個(gè)技術(shù)點(diǎn)的出現(xiàn)都是因?yàn)閷?shí)際需要。2. 方案選型用什么庫(kù)、走什么路線2.1 主流Excel處理庫(kù)對(duì)比Java生態(tài)里處理Excel的庫(kù)不算多主流的就是那么幾個(gè)。我整理了一個(gè)對(duì)比表格方便你根據(jù)自己項(xiàng)目的實(shí)際情況做選擇庫(kù)名稱優(yōu)勢(shì)劣勢(shì)適用場(chǎng)景Apache POI功能最全支持xls和xlsx社區(qū)成熟API偏底層代碼量大內(nèi)存占用高復(fù)雜格式、圖表、公式等高級(jí)需求EasyExcelAPI簡(jiǎn)潔內(nèi)存占用低適合大數(shù)據(jù)量功能相對(duì)POI少一些復(fù)雜格式支持有限大數(shù)據(jù)量導(dǎo)入導(dǎo)出格式要求不極端JXL輕量API簡(jiǎn)單只支持xls已停止維護(hù)老項(xiàng)目維護(hù)新項(xiàng)目不推薦CSV方案極簡(jiǎn)無(wú)依賴性能最好不支持格式、多sheet編碼問(wèn)題多純數(shù)據(jù)交換無(wú)格式要求我個(gè)人的選擇邏輯是這樣的如果數(shù)據(jù)量在10萬(wàn)行以內(nèi)格式要求不高直接用EasyExcel如果數(shù)據(jù)量超過(guò)50萬(wàn)行優(yōu)先考慮EasyExcel的流式處理或者CSV方案如果業(yè)務(wù)方要求復(fù)雜的表頭合并、單元格樣式、公式計(jì)算那就老老實(shí)實(shí)用Apache POI。這里要特別說(shuō)一個(gè)誤區(qū)很多人覺(jué)得POI性能差就完全不用其實(shí)POI的SXSSF模式流式寫(xiě)入在處理大數(shù)據(jù)量時(shí)表現(xiàn)也不差只是API用起來(lái)確實(shí)比EasyExcel啰嗦不少。2.2 導(dǎo)出方案的核心考量導(dǎo)出這個(gè)方向核心要解決的問(wèn)題就三個(gè)數(shù)據(jù)量、格式要求、響應(yīng)方式。數(shù)據(jù)量決定了你用哪種寫(xiě)入模式。POI的XSSF模式是把整個(gè)工作簿放在內(nèi)存里10萬(wàn)行以上就可能OOMSXSSF模式是流式寫(xiě)入只在內(nèi)存里保留一定行數(shù)默認(rèn)100行適合百萬(wàn)級(jí)數(shù)據(jù)。EasyExcel底層也是基于流式寫(xiě)入的思路但封裝得更好用。格式要求決定了你選哪個(gè)庫(kù)。如果只是簡(jiǎn)單的表頭加數(shù)據(jù)行EasyExcel足夠如果需要合并單元格、設(shè)置條件格式、插入圖片那POI是唯一選擇。響應(yīng)方式?jīng)Q定了你的接口設(shè)計(jì)。如果是同步導(dǎo)出用戶點(diǎn)擊按鈕后等待文件生成然后下載那要注意HTTP超時(shí)和內(nèi)存控制如果是異步導(dǎo)出生成文件后存到文件服務(wù)器再通知用戶下載那要考慮文件清理和并發(fā)控制。2.3 導(dǎo)入方案的核心考量導(dǎo)入比導(dǎo)出更復(fù)雜因?yàn)槟阋幚碛脩糨斎氲牟淮_定性。用戶可能傳一個(gè)空文件、可能傳一個(gè)格式不對(duì)的文件、可能傳一個(gè)列順序亂掉的文件、可能傳一個(gè)包含非法字符的文件。導(dǎo)入功能的核心不是“讀Excel”而是“校驗(yàn)和容錯(cuò)”。我的經(jīng)驗(yàn)是導(dǎo)入功能至少要考慮以下幾層校驗(yàn)文件格式校驗(yàn)是不是xlsx/xls、文件大小校驗(yàn)防止惡意大文件、表頭校驗(yàn)列名和順序是否匹配、數(shù)據(jù)類型校驗(yàn)數(shù)字列是不是數(shù)字、業(yè)務(wù)規(guī)則校驗(yàn)必填項(xiàng)、唯一性、關(guān)聯(lián)關(guān)系。每一層校驗(yàn)都要給用戶明確的錯(cuò)誤提示最好能定位到具體是哪一行哪一列出了問(wèn)題。3. 從MySQL導(dǎo)出到Excel的完整實(shí)現(xiàn)3.1 環(huán)境準(zhǔn)備與依賴引入先假設(shè)你用的是Maven項(xiàng)目需要引入的依賴如下。這里我同時(shí)給出POI和EasyExcel的依賴你可以根據(jù)實(shí)際選型決定用哪個(gè)!-- Apache POI 核心依賴 -- dependency groupIdorg.apache.poi/groupId artifactIdpoi/artifactId version5.2.3/version /dependency dependency groupIdorg.apache.poi/groupId artifactIdpoi-ooxml/artifactId version5.2.3/version /dependency !-- EasyExcel 依賴 -- dependency groupIdcom.alibaba/groupId artifactIdeasyexcel/artifactId version3.3.2/version /dependency !-- MySQL 驅(qū)動(dòng) -- dependency groupIdmysql/groupId artifactIdmysql-connector-java/artifactId version8.0.33/version /dependency注意POI 5.x版本和4.x版本在API上有一些差異網(wǎng)上很多老教程用的是4.x的寫(xiě)法直接復(fù)制可能會(huì)編譯報(bào)錯(cuò)。建議統(tǒng)一用5.x版本API更穩(wěn)定。數(shù)據(jù)庫(kù)連接池我推薦用HikariCPSpring Boot項(xiàng)目默認(rèn)就是它這里不展開(kāi)。關(guān)鍵是要確保你的數(shù)據(jù)源配置里fetchSize設(shè)置合理導(dǎo)出大數(shù)據(jù)量時(shí)這個(gè)參數(shù)直接影響內(nèi)存占用。3.2 基于POI的導(dǎo)出實(shí)現(xiàn)先看一個(gè)最基礎(chǔ)的POI導(dǎo)出實(shí)現(xiàn)把MySQL中的一張表導(dǎo)出為xlsx文件。假設(shè)我們有一張用戶表字段包括id、name、email、create_timepublic void exportWithPoi(Connection conn, String outputPath) throws Exception { String sql SELECT id, name, email, create_time FROM user; try (PreparedStatement ps conn.prepareStatement(sql, ResultSet.TYPE_FORWARD_ONLY, ResultSet.CONCUR_READ_ONLY)) { // 關(guān)鍵設(shè)置流式讀取結(jié)果集避免一次性加載所有數(shù)據(jù)到內(nèi)存 ps.setFetchSize(Integer.MIN_VALUE); // MySQL驅(qū)動(dòng)需要設(shè)置為流式模式 ps conn.prepareStatement(sql, ResultSet.TYPE_FORWARD_ONLY, ResultSet.CONCUR_READ_ONLY); ps.setFetchSize(Integer.MIN_VALUE); try (ResultSet rs ps.executeQuery(); SXSSFWorkbook workbook new SXSSFWorkbook(100)) { // 內(nèi)存中保留100行 Sheet sheet workbook.createSheet(用戶數(shù)據(jù)); // 創(chuàng)建表頭 Row headerRow sheet.createRow(0); String[] headers {ID, 姓名, 郵箱, 創(chuàng)建時(shí)間}; for (int i 0; i headers.length; i) { Cell cell headerRow.createCell(i); cell.setCellValue(headers[i]); } // 填充數(shù)據(jù) int rowIndex 1; while (rs.next()) { Row row sheet.createRow(rowIndex); row.createCell(0).setCellValue(rs.getLong(id)); row.createCell(1).setCellValue(rs.getString(name)); row.createCell(2).setCellValue(rs.getString(email)); Timestamp ts rs.getTimestamp(create_time); if (ts ! null) { row.createCell(3).setCellValue( new SimpleDateFormat(yyyy-MM-dd HH:mm:ss).format(ts)); } } // 寫(xiě)入文件 try (FileOutputStream fos new FileOutputStream(outputPath)) { workbook.write(fos); } // 清理臨時(shí)文件 workbook.dispose(); } } }這段代碼有幾個(gè)關(guān)鍵點(diǎn)需要解釋。第一SXSSFWorkbook的構(gòu)造參數(shù)100表示內(nèi)存中只保留100行數(shù)據(jù)超出的部分會(huì)寫(xiě)入臨時(shí)文件這樣即使導(dǎo)出100萬(wàn)行也不會(huì)OOM。第二ps.setFetchSize(Integer.MIN_VALUE)是MySQL驅(qū)動(dòng)特有的流式讀取設(shè)置不加這個(gè)的話驅(qū)動(dòng)會(huì)一次性把所有結(jié)果集加載到內(nèi)存數(shù)據(jù)量大時(shí)同樣會(huì)OOM。第三workbook.dispose()一定要調(diào)用否則臨時(shí)文件不會(huì)被清理磁盤(pán)空間會(huì)被慢慢吃掉。3.3 基于EasyExcel的導(dǎo)出實(shí)現(xiàn)同樣的需求用EasyExcel來(lái)實(shí)現(xiàn)會(huì)簡(jiǎn)潔很多。先定義一個(gè)數(shù)據(jù)對(duì)象Data public class UserExcelDTO { ExcelProperty(ID) private Long id; ExcelProperty(姓名) private String name; ExcelProperty(郵箱) private String email; ExcelProperty(創(chuàng)建時(shí)間) DateTimeFormat(yyyy-MM-dd HH:mm:ss) private Date createTime; }然后導(dǎo)出邏輯public void exportWithEasyExcel(Connection conn, String outputPath) throws Exception { String sql SELECT id, name, email, create_time FROM user; try (PreparedStatement ps conn.prepareStatement(sql, ResultSet.TYPE_FORWARD_ONLY, ResultSet.CONCUR_READ_ONLY)) { ps.setFetchSize(Integer.MIN_VALUE); try (ResultSet rs ps.executeQuery()) { // 構(gòu)建數(shù)據(jù)列表實(shí)際項(xiàng)目中建議分批查詢避免一次性加載 ListUserExcelDTO dataList new ArrayList(); while (rs.next()) { UserExcelDTO dto new UserExcelDTO(); dto.setId(rs.getLong(id)); dto.setName(rs.getString(name)); dto.setEmail(rs.getString(email)); dto.setCreateTime(rs.getTimestamp(create_time)); dataList.add(dto); } EasyExcel.write(outputPath, UserExcelDTO.class) .sheet(用戶數(shù)據(jù)) .doWrite(dataList); } } }EasyExcel的代碼量明顯少很多而且ExcelProperty注解直接定義了表頭DateTimeFormat處理了日期格式化非常直觀。但要注意上面這種寫(xiě)法是把所有數(shù)據(jù)先加載到List里再寫(xiě)入數(shù)據(jù)量特別大時(shí)內(nèi)存會(huì)有壓力。EasyExcel也支持分批寫(xiě)入后面性能優(yōu)化部分會(huì)講。3.4 導(dǎo)出功能的接口設(shè)計(jì)實(shí)際項(xiàng)目中導(dǎo)出通常是一個(gè)HTTP接口。這里給出一個(gè)Spring Boot的Controller示例GetMapping(/export/users) public void exportUsers(HttpServletResponse response) throws IOException { response.setContentType(application/vnd.openxmlformats-officedocument.spreadsheetml.sheet); response.setCharacterEncoding(utf-8); String fileName URLEncoder.encode(用戶數(shù)據(jù), UTF-8).replaceAll(\\, %20); response.setHeader(Content-Disposition, attachment;filename*utf-8 fileName .xlsx); // 使用EasyExcel直接寫(xiě)入response的輸出流 EasyExcel.write(response.getOutputStream(), UserExcelDTO.class) .sheet(用戶數(shù)據(jù)) .doWrite(queryUserList()); }提示文件名一定要做URL編碼否則中文文件名在部分瀏覽器上會(huì)亂碼。filename*utf-8這種寫(xiě)法是RFC 5987規(guī)定的兼容性最好。4. 從Excel導(dǎo)入到MySQL的完整實(shí)現(xiàn)4.1 導(dǎo)入功能的設(shè)計(jì)思路導(dǎo)入功能我一般會(huì)拆成三個(gè)階段解析階段、校驗(yàn)階段、入庫(kù)階段。解析階段負(fù)責(zé)把Excel文件讀成Java對(duì)象列表校驗(yàn)階段負(fù)責(zé)檢查數(shù)據(jù)的合法性入庫(kù)階段負(fù)責(zé)批量寫(xiě)入數(shù)據(jù)庫(kù)。這三個(gè)階段分開(kāi)的好處是每個(gè)階段都可以獨(dú)立處理異常給用戶精確的錯(cuò)誤反饋。解析階段用EasyExcel的監(jiān)聽(tīng)器模式是最合適的因?yàn)樗С种鹦凶x取不需要一次性加載整個(gè)文件。校驗(yàn)階段可以定義一個(gè)校驗(yàn)器接口針對(duì)不同的業(yè)務(wù)規(guī)則實(shí)現(xiàn)不同的校驗(yàn)邏輯。入庫(kù)階段用JDBC的批量插入配合事務(wù)控制。4.2 基于EasyExcel的導(dǎo)入實(shí)現(xiàn)先定義一個(gè)導(dǎo)入用的監(jiān)聽(tīng)器public class UserImportListener extends AnalysisEventListenerUserExcelDTO { private static final int BATCH_SIZE 500; private ListUserExcelDTO batchList new ArrayList(BATCH_SIZE); private ListString errorMessages new ArrayList(); private int rowIndex 1; // 從第2行開(kāi)始是數(shù)據(jù)第1行是表頭 private UserService userService; public UserImportListener(UserService userService) { this.userService userService; } Override public void invoke(UserExcelDTO data, AnalysisContext context) { rowIndex; // 單行校驗(yàn) String error validateRow(data); if (error ! null) { errorMessages.add(第 rowIndex 行 error); return; } batchList.add(data); // 達(dá)到批次大小就入庫(kù) if (batchList.size() BATCH_SIZE) { saveBatch(); } } Override public void doAfterAllAnalysed(AnalysisContext context) { // 處理最后一批 if (!batchList.isEmpty()) { saveBatch(); } } private void saveBatch() { try { userService.batchInsert(batchList); } catch (Exception e) { errorMessages.add(批次入庫(kù)失敗 e.getMessage()); } batchList.clear(); } private String validateRow(UserExcelDTO data) { if (data.getName() null || data.getName().trim().isEmpty()) { return 姓名不能為空; } if (data.getEmail() null || !data.getEmail().matches(^[\\w.-][\\w.-]\\.[a-zA-Z]{2,}$)) { return 郵箱格式不正確; } return null; } public ListString getErrorMessages() { return errorMessages; } }調(diào)用方式public ImportResult importUsers(MultipartFile file) throws IOException { UserImportListener listener new UserImportListener(userService); EasyExcel.read(file.getInputStream(), UserExcelDTO.class, listener) .sheet() .doRead(); ImportResult result new ImportResult(); result.setSuccessCount(/* 成功條數(shù) */); result.setErrorMessages(listener.getErrorMessages()); return result; }這個(gè)實(shí)現(xiàn)有幾個(gè)值得注意的地方。第一BATCH_SIZE設(shè)為500是一個(gè)經(jīng)驗(yàn)值太小會(huì)導(dǎo)致頻繁的數(shù)據(jù)庫(kù)交互太大會(huì)占用過(guò)多內(nèi)存500到1000之間比較合適。第二錯(cuò)誤信息記錄了具體的行號(hào)用戶拿到反饋后可以直接定位到Excel中的問(wèn)題行。第三doAfterAllAnalysed方法里處理最后一批數(shù)據(jù)這個(gè)容易被遺漏。4.3 批量入庫(kù)的SQL優(yōu)化批量插入的性能差異非常大我做過(guò)測(cè)試逐條插入和批量插入在1萬(wàn)條數(shù)據(jù)上的耗時(shí)差距可以達(dá)到幾十倍。下面是批量插入的示例public void batchInsert(ListUserExcelDTO list) { String sql INSERT INTO user (name, email, create_time) VALUES (?, ?, ?); try (Connection conn dataSource.getConnection(); PreparedStatement ps conn.prepareStatement(sql)) { conn.setAutoCommit(false); for (UserExcelDTO dto : list) { ps.setString(1, dto.getName()); ps.setString(2, dto.getEmail()); ps.setTimestamp(3, new Timestamp(dto.getCreateTime().getTime())); ps.addBatch(); } ps.executeBatch(); conn.commit(); } catch (SQLException e) { // 異常處理 } }注意MySQL的JDBC連接URL上要加上rewriteBatchedStatementstrue參數(shù)否則addBatch()和executeBatch()不會(huì)真正合并成一條SQL性能提升非常有限。這個(gè)參數(shù)是MySQL驅(qū)動(dòng)特有的優(yōu)化開(kāi)關(guān)很多人不知道。4.4 導(dǎo)入功能的容錯(cuò)設(shè)計(jì)導(dǎo)入功能最怕的就是用戶傳了一個(gè)亂七八糟的文件然后系統(tǒng)拋出一堆看不懂的異常。我的做法是在解析之前先做一輪文件級(jí)別的校驗(yàn)public void validateFile(MultipartFile file) { if (file.isEmpty()) { throw new BusinessException(文件不能為空); } String fileName file.getOriginalFilename(); if (fileName null || (!fileName.endsWith(.xlsx) !fileName.endsWith(.xls))) { throw new BusinessException(只支持xlsx和xls格式的文件); } if (file.getSize() 10 * 1024 * 1024) { throw new BusinessException(文件大小不能超過(guò)10MB); } }然后在解析過(guò)程中對(duì)于格式錯(cuò)誤、類型轉(zhuǎn)換失敗等異常EasyExcel會(huì)拋出ExcelAnalysisException需要捕獲并轉(zhuǎn)換成用戶能理解的提示。我一般會(huì)自定義一個(gè)異常處理器EasyExcel.read(inputStream, UserExcelDTO.class, listener) .registerConverter(new CustomStringConverter()) .sheet() .doRead();自定義Converter可以處理一些特殊的數(shù)據(jù)轉(zhuǎn)換場(chǎng)景比如把Excel中的“是/否”轉(zhuǎn)換成Java的Boolean或者把“2024/1/1”這種非標(biāo)準(zhǔn)日期格式解析成Date對(duì)象。5. 性能優(yōu)化與大數(shù)據(jù)量處理5.1 導(dǎo)出性能優(yōu)化的幾個(gè)關(guān)鍵點(diǎn)大數(shù)據(jù)量導(dǎo)出核心就一個(gè)字流。從數(shù)據(jù)庫(kù)查詢到Excel寫(xiě)入整條鏈路都要做到流式處理不能在任何環(huán)節(jié)把全量數(shù)據(jù)加載到內(nèi)存。數(shù)據(jù)庫(kù)層面前面提到的setFetchSize(Integer.MIN_VALUE)是必須的。但這里有個(gè)坑MySQL驅(qū)動(dòng)在流式讀取模式下同一個(gè)連接不能同時(shí)執(zhí)行其他查詢否則會(huì)報(bào)“Streaming result set is still active”的錯(cuò)誤。所以導(dǎo)出操作最好使用獨(dú)立的數(shù)據(jù)庫(kù)連接不要和業(yè)務(wù)查詢共用。Excel寫(xiě)入層面POI的SXSSF模式已經(jīng)做了流式處理但要注意SXSSFWorkbook的構(gòu)造參數(shù)不要設(shè)得太大100到1000之間比較合適。設(shè)得太大內(nèi)存占用高設(shè)得太小臨時(shí)文件IO頻繁。還有一個(gè)容易被忽略的點(diǎn)是單元格樣式的創(chuàng)建。POI中每創(chuàng)建一個(gè)CellStyle都會(huì)占用內(nèi)存如果每行都創(chuàng)建新樣式數(shù)據(jù)量大時(shí)內(nèi)存會(huì)暴漲。正確的做法是把樣式創(chuàng)建在循環(huán)外面所有行復(fù)用同一個(gè)樣式對(duì)象CellStyle style workbook.createCellStyle(); Font font workbook.createFont(); font.setBold(true); style.setFont(font); // 在循環(huán)外面創(chuàng)建循環(huán)里面復(fù)用 for (int i 0; i headers.length; i) { Cell cell headerRow.createCell(i); cell.setCellValue(headers[i]); cell.setCellStyle(style); // 復(fù)用樣式 }5.2 導(dǎo)入性能優(yōu)化的幾個(gè)關(guān)鍵點(diǎn)導(dǎo)入的性能瓶頸通常在數(shù)據(jù)庫(kù)寫(xiě)入上。除了前面說(shuō)的批量插入和rewriteBatchedStatementstrue還有幾個(gè)優(yōu)化點(diǎn)第一關(guān)閉自動(dòng)提交。每次executeBatch()之前手動(dòng)setAutoCommit(false)批量執(zhí)行完再commit()可以減少事務(wù)開(kāi)銷。第二合理設(shè)置批次大小。我實(shí)測(cè)下來(lái)500到1000條一批比較均衡。批次太小數(shù)據(jù)庫(kù)交互頻繁批次太大內(nèi)存占用高且單次事務(wù)時(shí)間長(zhǎng)。第三使用多線程解析。EasyExcel支持多線程讀取但要注意線程安全問(wèn)題。如果業(yè)務(wù)允許可以把Excel按行拆分成多個(gè)片段用線程池并行解析和入庫(kù)。不過(guò)這個(gè)方案實(shí)現(xiàn)復(fù)雜度較高數(shù)據(jù)量不是特別大的話沒(méi)必要。第四數(shù)據(jù)庫(kù)連接池配置。導(dǎo)入操作會(huì)占用數(shù)據(jù)庫(kù)連接較長(zhǎng)時(shí)間連接池的maxPoolSize要設(shè)置合理避免導(dǎo)入操作把連接池占滿導(dǎo)致其他業(yè)務(wù)請(qǐng)求無(wú)法處理。5.3 內(nèi)存監(jiān)控與OOM預(yù)防大數(shù)據(jù)量導(dǎo)出最容易出的問(wèn)題就是OOM。除了用流式處理還建議在代碼里加一些內(nèi)存監(jiān)控的邏輯Runtime runtime Runtime.getRuntime(); long usedMemory runtime.totalMemory() - runtime.freeMemory(); if (usedMemory runtime.maxMemory() * 0.8) { // 內(nèi)存使用超過(guò)80%觸發(fā)GC或者暫停處理 System.gc(); // 如果還是高考慮分批處理或者拋出提示 }當(dāng)然System.gc()只是建議JVM執(zhí)行GC不保證立即執(zhí)行。更可靠的做法是在JVM啟動(dòng)參數(shù)里設(shè)置合理的堆大小和GC策略比如-Xmx2g -Xms2g -XX:UseG1GC。6. 常見(jiàn)問(wèn)題與排查技巧實(shí)錄6.1 導(dǎo)出常見(jiàn)問(wèn)題速查表問(wèn)題現(xiàn)象可能原因解決方案導(dǎo)出文件打不開(kāi)提示損壞輸出流未正確關(guān)閉或?qū)懭氩煌暾_保workbook.write()后正確關(guān)閉流使用try-with-resources中文文件名亂碼未做URL編碼使用URLEncoder.encode()并設(shè)置正確的Content-Disposition導(dǎo)出數(shù)據(jù)量大了就OOM使用了XSSFWorkbook或未設(shè)置fetchSize改用SXSSFWorkbook設(shè)置setFetchSize(Integer.MIN_VALUE)日期格式不對(duì)未設(shè)置日期格式或時(shí)區(qū)問(wèn)題使用DateTimeFormat注解或手動(dòng)SimpleDateFormat導(dǎo)出速度特別慢逐條查詢數(shù)據(jù)庫(kù)或頻繁創(chuàng)建樣式批量查詢樣式復(fù)用使用流式寫(xiě)入數(shù)字變成了科學(xué)計(jì)數(shù)法Excel自動(dòng)格式化設(shè)置單元格格式為文本或使用BigDecimal并設(shè)置DataFormat6.2 導(dǎo)入常見(jiàn)問(wèn)題速查表問(wèn)題現(xiàn)象可能原因解決方案讀取不到數(shù)據(jù)表頭行號(hào)設(shè)置錯(cuò)誤檢查headRowNumber參數(shù)默認(rèn)是1日期解析失敗Excel中的日期格式不標(biāo)準(zhǔn)自定義Converter處理多種日期格式數(shù)字精度丟失Excel中數(shù)字被存為double使用String接收再轉(zhuǎn)換或使用BigDecimal批量插入慢未開(kāi)啟rewriteBatchedStatementsJDBC URL添加該參數(shù)部分?jǐn)?shù)據(jù)入庫(kù)失敗未做事務(wù)控制使用事務(wù)失敗時(shí)回滾或記錄錯(cuò)誤行內(nèi)存溢出一次性讀取所有數(shù)據(jù)使用監(jiān)聽(tīng)器模式逐行讀取分批入庫(kù)6.3 幾個(gè)我踩過(guò)的坑第一個(gè)坑MySQL流式讀取的副作用。前面提到setFetchSize(Integer.MIN_VALUE)可以實(shí)現(xiàn)流式讀取但很多人不知道的是在流式讀取模式下如果結(jié)果集沒(méi)有讀完就關(guān)閉了StatementMySQL驅(qū)動(dòng)會(huì)拋出異常。所以一定要確保ResultSet被完整遍歷或者正確關(guān)閉。第二個(gè)坑EasyExcel的并發(fā)寫(xiě)入問(wèn)題。EasyExcel的doWrite()方法不是線程安全的如果多個(gè)線程同時(shí)往同一個(gè)文件寫(xiě)入會(huì)出現(xiàn)數(shù)據(jù)錯(cuò)亂。如果確實(shí)需要并發(fā)導(dǎo)出每個(gè)線程應(yīng)該寫(xiě)入不同的文件最后再合并。第三個(gè)坑Excel的單元格類型判斷。用POI讀取Excel時(shí)cell.getCellType()返回的類型可能和預(yù)期不一致。比如用戶輸入的數(shù)字“123”Excel可能存為NUMERIC類型也可能存為STRING類型。穩(wěn)妥的做法是用DataFormatter來(lái)統(tǒng)一處理DataFormatter formatter new DataFormatter(); String value formatter.formatCellValue(cell);第四個(gè)坑大文件導(dǎo)入時(shí)的超時(shí)問(wèn)題。如果導(dǎo)入的文件很大HTTP請(qǐng)求可能會(huì)超時(shí)。解決方案是把導(dǎo)入操作改成異步的用戶上傳文件后立即返回一個(gè)任務(wù)ID后臺(tái)異步處理用戶通過(guò)任務(wù)ID查詢進(jìn)度和結(jié)果。第五個(gè)坑Excel中的空行處理。用戶可能在數(shù)據(jù)末尾留了很多空行EasyExcel默認(rèn)會(huì)跳過(guò)完全空白的行但如果空行中有格式比如邊框就可能被當(dāng)成有效數(shù)據(jù)。建議在監(jiān)聽(tīng)器的invoke()方法里加一個(gè)判斷如果所有字段都為空就跳過(guò)。7. 一些進(jìn)階思路與擴(kuò)展方向7.1 動(dòng)態(tài)表頭與多Sheet導(dǎo)出實(shí)際項(xiàng)目中經(jīng)常遇到需要?jiǎng)討B(tài)生成表頭的場(chǎng)景比如用戶可以選擇導(dǎo)出哪些字段。EasyExcel支持動(dòng)態(tài)表頭ListListString head new ArrayList(); head.add(Collections.singletonList(ID)); head.add(Collections.singletonList(姓名)); // 根據(jù)用戶選擇動(dòng)態(tài)添加 EasyExcel.write(outputPath) .head(head) .sheet(數(shù)據(jù)) .doWrite(dataList);多Sheet導(dǎo)出也很簡(jiǎn)單多次調(diào)用sheet()方法即可ExcelWriter writer EasyExcel.write(outputPath).build(); WriteSheet sheet1 EasyExcel.writerSheet(0, 用戶數(shù)據(jù)).head(UserExcelDTO.class).build(); WriteSheet sheet2 EasyExcel.writerSheet(1, 訂單數(shù)據(jù)).head(OrderExcelDTO.class).build(); writer.write(userList, sheet1); writer.write(orderList, sheet2); writer.finish();7.2 導(dǎo)入時(shí)的數(shù)據(jù)去重與更新策略導(dǎo)入數(shù)據(jù)時(shí)經(jīng)常需要處理“已存在的數(shù)據(jù)是更新還是跳過(guò)”的問(wèn)題。我的做法是在校驗(yàn)階段查詢數(shù)據(jù)庫(kù)根據(jù)業(yè)務(wù)主鍵判斷數(shù)據(jù)是否已存在然后分別走插入或更新邏輯。批量場(chǎng)景下可以先把所有主鍵查出來(lái)放到一個(gè)Set里避免逐條查詢數(shù)據(jù)庫(kù)。7.3 導(dǎo)出文件的存儲(chǔ)與清理如果是異步導(dǎo)出生成的文件需要臨時(shí)存儲(chǔ)。我一般會(huì)在服務(wù)器上建一個(gè)臨時(shí)目錄文件名用UUID避免沖突然后設(shè)置一個(gè)定時(shí)任務(wù)定期清理超過(guò)24小時(shí)的文件。如果文件比較大還可以考慮壓縮后再提供下載。8. 個(gè)人經(jīng)驗(yàn)總結(jié)做了這么多導(dǎo)出導(dǎo)入的功能我最大的體會(huì)是這個(gè)看似簡(jiǎn)單的需求實(shí)際上考驗(yàn)的是你對(duì)整個(gè)數(shù)據(jù)鏈路的掌控能力。從數(shù)據(jù)庫(kù)查詢、內(nèi)存管理、Excel寫(xiě)入、HTTP響應(yīng)到異常處理每一個(gè)環(huán)節(jié)都可能出問(wèn)題。如果讓我給新手一個(gè)建議那就是先用最簡(jiǎn)單的方案把功能跑通然后再根據(jù)實(shí)際的數(shù)據(jù)量和性能要求逐步優(yōu)化。不要一上來(lái)就追求完美方案很多時(shí)候業(yè)務(wù)方的數(shù)據(jù)量根本沒(méi)那么大過(guò)度設(shè)計(jì)反而增加了維護(hù)成本。另外導(dǎo)入功能的錯(cuò)誤提示一定要做得足夠友好。用戶傳了一個(gè)有問(wèn)題的文件你要告訴他具體是哪一行哪一列出了什么問(wèn)題而不是拋一個(gè)“系統(tǒng)異?！本屯晔铝?。這一點(diǎn)在實(shí)際項(xiàng)目中得到的正面反饋?zhàn)疃嘁彩亲钊菀妆婚_(kāi)發(fā)者忽略的地方。最后分享一個(gè)小技巧在導(dǎo)出功能的測(cè)試階段可以用LIMIT子句限制查詢條數(shù)先驗(yàn)證格式和邏輯是否正確確認(rèn)無(wú)誤后再去掉限制做全量導(dǎo)出。這樣可以避免每次測(cè)試都等待大量數(shù)據(jù)查詢和寫(xiě)入的時(shí)間。 Java實(shí)現(xiàn)MySQL到Excel高效導(dǎo)出與導(dǎo)入：POI與EasyExcel實(shí)戰(zhàn)
1. 為什么“數(shù)據(jù)庫(kù)到Excel”這個(gè)需求值得認(rèn)真對(duì)待但凡做過(guò)企業(yè)級(jí)應(yīng)用的人幾乎都繞不開(kāi)一個(gè)場(chǎng)景業(yè)務(wù)方跑過(guò)來(lái)說(shuō)“能不能把系統(tǒng)里的數(shù)據(jù)導(dǎo)出來(lái)給我我要在Excel里做分析”?；蛘叻催^(guò)來(lái)“我這邊整理了一份Excel能不能批量導(dǎo)入到系統(tǒng)里”。這個(gè)需求聽(tīng)起來(lái)簡(jiǎn)單得不像個(gè)技術(shù)問(wèn)題但真正動(dòng)過(guò)手的人都知道從MySQL到Excel的導(dǎo)出與導(dǎo)入坑遠(yuǎn)比想象中多。我做過(guò)不少類似的項(xiàng)目從最早用JDBC拼字符串生成CSV到后來(lái)用POI直接寫(xiě)xlsx再到用EasyExcel處理百萬(wàn)行級(jí)別的數(shù)據(jù)每一次都在踩坑中積累經(jīng)驗(yàn)。這篇文章就把我這些年在這個(gè)場(chǎng)景下積累的東西完整梳理一遍從方案選型、核心實(shí)現(xiàn)、性能優(yōu)化到常見(jiàn)問(wèn)題排查盡量做到你拿著就能用。先說(shuō)清楚這個(gè)內(nèi)容適合誰(shuí)看如果你是一個(gè)Java后端開(kāi)發(fā)者手頭有MySQL數(shù)據(jù)庫(kù)需要實(shí)現(xiàn)數(shù)據(jù)的Excel導(dǎo)出和導(dǎo)入功能不管你是剛?cè)胄械男率诌€是有一定經(jīng)驗(yàn)的工程師這篇文章都能給你提供可直接參考的方案。我會(huì)從最基礎(chǔ)的實(shí)現(xiàn)講起逐步深入到性能優(yōu)化和異常處理中間會(huì)穿插大量實(shí)際項(xiàng)目中總結(jié)的經(jīng)驗(yàn)和注意事項(xiàng)。核心關(guān)鍵詞就幾個(gè)Java、MySQL、Excel、導(dǎo)出、導(dǎo)入、Apache POI、EasyExcel。這些詞會(huì)貫穿全文但我不會(huì)為了堆砌而堆砌每個(gè)技術(shù)點(diǎn)的出現(xiàn)都是因?yàn)閷?shí)際需要。2. 方案選型用什么庫(kù)、走什么路線2.1 主流Excel處理庫(kù)對(duì)比Java生態(tài)里處理Excel的庫(kù)不算多主流的就是那么幾個(gè)。我整理了一個(gè)對(duì)比表格方便你根據(jù)自己項(xiàng)目的實(shí)際情況做選擇庫(kù)名稱優(yōu)勢(shì)劣勢(shì)適用場(chǎng)景Apache POI功能最全支持xls和xlsx社區(qū)成熟API偏底層代碼量大內(nèi)存占用高復(fù)雜格式、圖表、公式等高級(jí)需求EasyExcelAPI簡(jiǎn)潔內(nèi)存占用低適合大數(shù)據(jù)量功能相對(duì)POI少一些復(fù)雜格式支持有限大數(shù)據(jù)量導(dǎo)入導(dǎo)出格式要求不極端JXL輕量API簡(jiǎn)單只支持xls已停止維護(hù)老項(xiàng)目維護(hù)新項(xiàng)目不推薦CSV方案極簡(jiǎn)無(wú)依賴性能最好不支持格式、多sheet編碼問(wèn)題多純數(shù)據(jù)交換無(wú)格式要求我個(gè)人的選擇邏輯是這樣的如果數(shù)據(jù)量在10萬(wàn)行以內(nèi)格式要求不高直接用EasyExcel如果數(shù)據(jù)量超過(guò)50萬(wàn)行優(yōu)先考慮EasyExcel的流式處理或者CSV方案如果業(yè)務(wù)方要求復(fù)雜的表頭合并、單元格樣式、公式計(jì)算那就老老實(shí)實(shí)用Apache POI。這里要特別說(shuō)一個(gè)誤區(qū)很多人覺(jué)得POI性能差就完全不用其實(shí)POI的SXSSF模式流式寫(xiě)入在處理大數(shù)據(jù)量時(shí)表現(xiàn)也不差只是API用起來(lái)確實(shí)比EasyExcel啰嗦不少。2.2 導(dǎo)出方案的核心考量導(dǎo)出這個(gè)方向核心要解決的問(wèn)題就三個(gè)數(shù)據(jù)量、格式要求、響應(yīng)方式。數(shù)據(jù)量決定了你用哪種寫(xiě)入模式。POI的XSSF模式是把整個(gè)工作簿放在內(nèi)存里10萬(wàn)行以上就可能OOMSXSSF模式是流式寫(xiě)入只在內(nèi)存里保留一定行數(shù)默認(rèn)100行適合百萬(wàn)級(jí)數(shù)據(jù)。EasyExcel底層也是基于流式寫(xiě)入的思路但封裝得更好用。格式要求決定了你選哪個(gè)庫(kù)。如果只是簡(jiǎn)單的表頭加數(shù)據(jù)行EasyExcel足夠如果需要合并單元格、設(shè)置條件格式、插入圖片那POI是唯一選擇。響應(yīng)方式?jīng)Q定了你的接口設(shè)計(jì)。如果是同步導(dǎo)出用戶點(diǎn)擊按鈕后等待文件生成然后下載那要注意HTTP超時(shí)和內(nèi)存控制如果是異步導(dǎo)出生成文件后存到文件服務(wù)器再通知用戶下載那要考慮文件清理和并發(fā)控制。2.3 導(dǎo)入方案的核心考量導(dǎo)入比導(dǎo)出更復(fù)雜因?yàn)槟阋幚碛脩糨斎氲牟淮_定性。用戶可能傳一個(gè)空文件、可能傳一個(gè)格式不對(duì)的文件、可能傳一個(gè)列順序亂掉的文件、可能傳一個(gè)包含非法字符的文件。導(dǎo)入功能的核心不是“讀Excel”而是“校驗(yàn)和容錯(cuò)”。我的經(jīng)驗(yàn)是導(dǎo)入功能至少要考慮以下幾層校驗(yàn)文件格式校驗(yàn)是不是xlsx/xls、文件大小校驗(yàn)防止惡意大文件、表頭校驗(yàn)列名和順序是否匹配、數(shù)據(jù)類型校驗(yàn)數(shù)字列是不是數(shù)字、業(yè)務(wù)規(guī)則校驗(yàn)必填項(xiàng)、唯一性、關(guān)聯(lián)關(guān)系。每一層校驗(yàn)都要給用戶明確的錯(cuò)誤提示最好能定位到具體是哪一行哪一列出了問(wèn)題。3. 從MySQL導(dǎo)出到Excel的完整實(shí)現(xiàn)3.1 環(huán)境準(zhǔn)備與依賴引入先假設(shè)你用的是Maven項(xiàng)目需要引入的依賴如下。這里我同時(shí)給出POI和EasyExcel的依賴你可以根據(jù)實(shí)際選型決定用哪個(gè)!-- Apache POI 核心依賴 -- dependency groupIdorg.apache.poi/groupId artifactIdpoi/artifactId version5.2.3/version /dependency dependency groupIdorg.apache.poi/groupId artifactIdpoi-ooxml/artifactId version5.2.3/version /dependency !-- EasyExcel 依賴 -- dependency groupIdcom.alibaba/groupId artifactIdeasyexcel/artifactId version3.3.2/version /dependency !-- MySQL 驅(qū)動(dòng) -- dependency groupIdmysql/groupId artifactIdmysql-connector-java/artifactId version8.0.33/version /dependency注意POI 5.x版本和4.x版本在API上有一些差異網(wǎng)上很多老教程用的是4.x的寫(xiě)法直接復(fù)制可能會(huì)編譯報(bào)錯(cuò)。建議統(tǒng)一用5.x版本API更穩(wěn)定。數(shù)據(jù)庫(kù)連接池我推薦用HikariCPSpring Boot項(xiàng)目默認(rèn)就是它這里不展開(kāi)。關(guān)鍵是要確保你的數(shù)據(jù)源配置里fetchSize設(shè)置合理導(dǎo)出大數(shù)據(jù)量時(shí)這個(gè)參數(shù)直接影響內(nèi)存占用。3.2 基于POI的導(dǎo)出實(shí)現(xiàn)先看一個(gè)最基礎(chǔ)的POI導(dǎo)出實(shí)現(xiàn)把MySQL中的一張表導(dǎo)出為xlsx文件。假設(shè)我們有一張用戶表字段包括id、name、email、create_timepublic void exportWithPoi(Connection conn, String outputPath) throws Exception { String sql SELECT id, name, email, create_time FROM user; try (PreparedStatement ps conn.prepareStatement(sql, ResultSet.TYPE_FORWARD_ONLY, ResultSet.CONCUR_READ_ONLY)) { // 關(guān)鍵設(shè)置流式讀取結(jié)果集避免一次性加載所有數(shù)據(jù)到內(nèi)存 ps.setFetchSize(Integer.MIN_VALUE); // MySQL驅(qū)動(dòng)需要設(shè)置為流式模式 ps conn.prepareStatement(sql, ResultSet.TYPE_FORWARD_ONLY, ResultSet.CONCUR_READ_ONLY); ps.setFetchSize(Integer.MIN_VALUE); try (ResultSet rs ps.executeQuery(); SXSSFWorkbook workbook new SXSSFWorkbook(100)) { // 內(nèi)存中保留100行 Sheet sheet workbook.createSheet(用戶數(shù)據(jù)); // 創(chuàng)建表頭 Row headerRow sheet.createRow(0); String[] headers {ID, 姓名, 郵箱, 創(chuàng)建時(shí)間}; for (int i 0; i headers.length; i) { Cell cell headerRow.createCell(i); cell.setCellValue(headers[i]); } // 填充數(shù)據(jù) int rowIndex 1; while (rs.next()) { Row row sheet.createRow(rowIndex); row.createCell(0).setCellValue(rs.getLong(id)); row.createCell(1).setCellValue(rs.getString(name)); row.createCell(2).setCellValue(rs.getString(email)); Timestamp ts rs.getTimestamp(create_time); if (ts ! null) { row.createCell(3).setCellValue( new SimpleDateFormat(yyyy-MM-dd HH:mm:ss).format(ts)); } } // 寫(xiě)入文件 try (FileOutputStream fos new FileOutputStream(outputPath)) { workbook.write(fos); } // 清理臨時(shí)文件 workbook.dispose(); } } }這段代碼有幾個(gè)關(guān)鍵點(diǎn)需要解釋。第一SXSSFWorkbook的構(gòu)造參數(shù)100表示內(nèi)存中只保留100行數(shù)據(jù)超出的部分會(huì)寫(xiě)入臨時(shí)文件這樣即使導(dǎo)出100萬(wàn)行也不會(huì)OOM。第二ps.setFetchSize(Integer.MIN_VALUE)是MySQL驅(qū)動(dòng)特有的流式讀取設(shè)置不加這個(gè)的話驅(qū)動(dòng)會(huì)一次性把所有結(jié)果集加載到內(nèi)存數(shù)據(jù)量大時(shí)同樣會(huì)OOM。第三workbook.dispose()一定要調(diào)用否則臨時(shí)文件不會(huì)被清理磁盤(pán)空間會(huì)被慢慢吃掉。3.3 基于EasyExcel的導(dǎo)出實(shí)現(xiàn)同樣的需求用EasyExcel來(lái)實(shí)現(xiàn)會(huì)簡(jiǎn)潔很多。先定義一個(gè)數(shù)據(jù)對(duì)象Data public class UserExcelDTO { ExcelProperty(ID) private Long id; ExcelProperty(姓名) private String name; ExcelProperty(郵箱) private String email; ExcelProperty(創(chuàng)建時(shí)間) DateTimeFormat(yyyy-MM-dd HH:mm:ss) private Date createTime; }然后導(dǎo)出邏輯public void exportWithEasyExcel(Connection conn, String outputPath) throws Exception { String sql SELECT id, name, email, create_time FROM user; try (PreparedStatement ps conn.prepareStatement(sql, ResultSet.TYPE_FORWARD_ONLY, ResultSet.CONCUR_READ_ONLY)) { ps.setFetchSize(Integer.MIN_VALUE); try (ResultSet rs ps.executeQuery()) { // 構(gòu)建數(shù)據(jù)列表實(shí)際項(xiàng)目中建議分批查詢避免一次性加載 ListUserExcelDTO dataList new ArrayList(); while (rs.next()) { UserExcelDTO dto new UserExcelDTO(); dto.setId(rs.getLong(id)); dto.setName(rs.getString(name)); dto.setEmail(rs.getString(email)); dto.setCreateTime(rs.getTimestamp(create_time)); dataList.add(dto); } EasyExcel.write(outputPath, UserExcelDTO.class) .sheet(用戶數(shù)據(jù)) .doWrite(dataList); } } }EasyExcel的代碼量明顯少很多而且ExcelProperty注解直接定義了表頭DateTimeFormat處理了日期格式化非常直觀。但要注意上面這種寫(xiě)法是把所有數(shù)據(jù)先加載到List里再寫(xiě)入數(shù)據(jù)量特別大時(shí)內(nèi)存會(huì)有壓力。EasyExcel也支持分批寫(xiě)入后面性能優(yōu)化部分會(huì)講。3.4 導(dǎo)出功能的接口設(shè)計(jì)實(shí)際項(xiàng)目中導(dǎo)出通常是一個(gè)HTTP接口。這里給出一個(gè)Spring Boot的Controller示例GetMapping(/export/users) public void exportUsers(HttpServletResponse response) throws IOException { response.setContentType(application/vnd.openxmlformats-officedocument.spreadsheetml.sheet); response.setCharacterEncoding(utf-8); String fileName URLEncoder.encode(用戶數(shù)據(jù), UTF-8).replaceAll(\\, %20); response.setHeader(Content-Disposition, attachment;filename*utf-8 fileName .xlsx); // 使用EasyExcel直接寫(xiě)入response的輸出流 EasyExcel.write(response.getOutputStream(), UserExcelDTO.class) .sheet(用戶數(shù)據(jù)) .doWrite(queryUserList()); }提示文件名一定要做URL編碼否則中文文件名在部分瀏覽器上會(huì)亂碼。filename*utf-8這種寫(xiě)法是RFC 5987規(guī)定的兼容性最好。4. 從Excel導(dǎo)入到MySQL的完整實(shí)現(xiàn)4.1 導(dǎo)入功能的設(shè)計(jì)思路導(dǎo)入功能我一般會(huì)拆成三個(gè)階段解析階段、校驗(yàn)階段、入庫(kù)階段。解析階段負(fù)責(zé)把Excel文件讀成Java對(duì)象列表校驗(yàn)階段負(fù)責(zé)檢查數(shù)據(jù)的合法性入庫(kù)階段負(fù)責(zé)批量寫(xiě)入數(shù)據(jù)庫(kù)。這三個(gè)階段分開(kāi)的好處是每個(gè)階段都可以獨(dú)立處理異常給用戶精確的錯(cuò)誤反饋。解析階段用EasyExcel的監(jiān)聽(tīng)器模式是最合適的因?yàn)樗С种鹦凶x取不需要一次性加載整個(gè)文件。校驗(yàn)階段可以定義一個(gè)校驗(yàn)器接口針對(duì)不同的業(yè)務(wù)規(guī)則實(shí)現(xiàn)不同的校驗(yàn)邏輯。入庫(kù)階段用JDBC的批量插入配合事務(wù)控制。4.2 基于EasyExcel的導(dǎo)入實(shí)現(xiàn)先定義一個(gè)導(dǎo)入用的監(jiān)聽(tīng)器public class UserImportListener extends AnalysisEventListenerUserExcelDTO { private static final int BATCH_SIZE 500; private ListUserExcelDTO batchList new ArrayList(BATCH_SIZE); private ListString errorMessages new ArrayList(); private int rowIndex 1; // 從第2行開(kāi)始是數(shù)據(jù)第1行是表頭 private UserService userService; public UserImportListener(UserService userService) { this.userService userService; } Override public void invoke(UserExcelDTO data, AnalysisContext context) { rowIndex; // 單行校驗(yàn) String error validateRow(data); if (error ! null) { errorMessages.add(第 rowIndex 行 error); return; } batchList.add(data); // 達(dá)到批次大小就入庫(kù) if (batchList.size() BATCH_SIZE) { saveBatch(); } } Override public void doAfterAllAnalysed(AnalysisContext context) { // 處理最后一批 if (!batchList.isEmpty()) { saveBatch(); } } private void saveBatch() { try { userService.batchInsert(batchList); } catch (Exception e) { errorMessages.add(批次入庫(kù)失敗 e.getMessage()); } batchList.clear(); } private String validateRow(UserExcelDTO data) { if (data.getName() null || data.getName().trim().isEmpty()) { return 姓名不能為空; } if (data.getEmail() null || !data.getEmail().matches(^[\\w.-][\\w.-]\\.[a-zA-Z]{2,}$)) { return 郵箱格式不正確; } return null; } public ListString getErrorMessages() { return errorMessages; } }調(diào)用方式public ImportResult importUsers(MultipartFile file) throws IOException { UserImportListener listener new UserImportListener(userService); EasyExcel.read(file.getInputStream(), UserExcelDTO.class, listener) .sheet() .doRead(); ImportResult result new ImportResult(); result.setSuccessCount(/* 成功條數(shù) */); result.setErrorMessages(listener.getErrorMessages()); return result; }這個(gè)實(shí)現(xiàn)有幾個(gè)值得注意的地方。第一BATCH_SIZE設(shè)為500是一個(gè)經(jīng)驗(yàn)值太小會(huì)導(dǎo)致頻繁的數(shù)據(jù)庫(kù)交互太大會(huì)占用過(guò)多內(nèi)存500到1000之間比較合適。第二錯(cuò)誤信息記錄了具體的行號(hào)用戶拿到反饋后可以直接定位到Excel中的問(wèn)題行。第三doAfterAllAnalysed方法里處理最后一批數(shù)據(jù)這個(gè)容易被遺漏。4.3 批量入庫(kù)的SQL優(yōu)化批量插入的性能差異非常大我做過(guò)測(cè)試逐條插入和批量插入在1萬(wàn)條數(shù)據(jù)上的耗時(shí)差距可以達(dá)到幾十倍。下面是批量插入的示例public void batchInsert(ListUserExcelDTO list) { String sql INSERT INTO user (name, email, create_time) VALUES (?, ?, ?); try (Connection conn dataSource.getConnection(); PreparedStatement ps conn.prepareStatement(sql)) { conn.setAutoCommit(false); for (UserExcelDTO dto : list) { ps.setString(1, dto.getName()); ps.setString(2, dto.getEmail()); ps.setTimestamp(3, new Timestamp(dto.getCreateTime().getTime())); ps.addBatch(); } ps.executeBatch(); conn.commit(); } catch (SQLException e) { // 異常處理 } }注意MySQL的JDBC連接URL上要加上rewriteBatchedStatementstrue參數(shù)否則addBatch()和executeBatch()不會(huì)真正合并成一條SQL性能提升非常有限。這個(gè)參數(shù)是MySQL驅(qū)動(dòng)特有的優(yōu)化開(kāi)關(guān)很多人不知道。4.4 導(dǎo)入功能的容錯(cuò)設(shè)計(jì)導(dǎo)入功能最怕的就是用戶傳了一個(gè)亂七八糟的文件然后系統(tǒng)拋出一堆看不懂的異常。我的做法是在解析之前先做一輪文件級(jí)別的校驗(yàn)public void validateFile(MultipartFile file) { if (file.isEmpty()) { throw new BusinessException(文件不能為空); } String fileName file.getOriginalFilename(); if (fileName null || (!fileName.endsWith(.xlsx) !fileName.endsWith(.xls))) { throw new BusinessException(只支持xlsx和xls格式的文件); } if (file.getSize() 10 * 1024 * 1024) { throw new BusinessException(文件大小不能超過(guò)10MB); } }然后在解析過(guò)程中對(duì)于格式錯(cuò)誤、類型轉(zhuǎn)換失敗等異常EasyExcel會(huì)拋出ExcelAnalysisException需要捕獲并轉(zhuǎn)換成用戶能理解的提示。我一般會(huì)自定義一個(gè)異常處理器EasyExcel.read(inputStream, UserExcelDTO.class, listener) .registerConverter(new CustomStringConverter()) .sheet() .doRead();自定義Converter可以處理一些特殊的數(shù)據(jù)轉(zhuǎn)換場(chǎng)景比如把Excel中的“是/否”轉(zhuǎn)換成Java的Boolean或者把“2024/1/1”這種非標(biāo)準(zhǔn)日期格式解析成Date對(duì)象。5. 性能優(yōu)化與大數(shù)據(jù)量處理5.1 導(dǎo)出性能優(yōu)化的幾個(gè)關(guān)鍵點(diǎn)大數(shù)據(jù)量導(dǎo)出核心就一個(gè)字流。從數(shù)據(jù)庫(kù)查詢到Excel寫(xiě)入整條鏈路都要做到流式處理不能在任何環(huán)節(jié)把全量數(shù)據(jù)加載到內(nèi)存。數(shù)據(jù)庫(kù)層面前面提到的setFetchSize(Integer.MIN_VALUE)是必須的。但這里有個(gè)坑MySQL驅(qū)動(dòng)在流式讀取模式下同一個(gè)連接不能同時(shí)執(zhí)行其他查詢否則會(huì)報(bào)“Streaming result set is still active”的錯(cuò)誤。所以導(dǎo)出操作最好使用獨(dú)立的數(shù)據(jù)庫(kù)連接不要和業(yè)務(wù)查詢共用。Excel寫(xiě)入層面POI的SXSSF模式已經(jīng)做了流式處理但要注意SXSSFWorkbook的構(gòu)造參數(shù)不要設(shè)得太大100到1000之間比較合適。設(shè)得太大內(nèi)存占用高設(shè)得太小臨時(shí)文件IO頻繁。還有一個(gè)容易被忽略的點(diǎn)是單元格樣式的創(chuàng)建。POI中每創(chuàng)建一個(gè)CellStyle都會(huì)占用內(nèi)存如果每行都創(chuàng)建新樣式數(shù)據(jù)量大時(shí)內(nèi)存會(huì)暴漲。正確的做法是把樣式創(chuàng)建在循環(huán)外面所有行復(fù)用同一個(gè)樣式對(duì)象CellStyle style workbook.createCellStyle(); Font font workbook.createFont(); font.setBold(true); style.setFont(font); // 在循環(huán)外面創(chuàng)建循環(huán)里面復(fù)用 for (int i 0; i headers.length; i) { Cell cell headerRow.createCell(i); cell.setCellValue(headers[i]); cell.setCellStyle(style); // 復(fù)用樣式 }5.2 導(dǎo)入性能優(yōu)化的幾個(gè)關(guān)鍵點(diǎn)導(dǎo)入的性能瓶頸通常在數(shù)據(jù)庫(kù)寫(xiě)入上。除了前面說(shuō)的批量插入和rewriteBatchedStatementstrue還有幾個(gè)優(yōu)化點(diǎn)第一關(guān)閉自動(dòng)提交。每次executeBatch()之前手動(dòng)setAutoCommit(false)批量執(zhí)行完再commit()可以減少事務(wù)開(kāi)銷。第二合理設(shè)置批次大小。我實(shí)測(cè)下來(lái)500到1000條一批比較均衡。批次太小數(shù)據(jù)庫(kù)交互頻繁批次太大內(nèi)存占用高且單次事務(wù)時(shí)間長(zhǎng)。第三使用多線程解析。EasyExcel支持多線程讀取但要注意線程安全問(wèn)題。如果業(yè)務(wù)允許可以把Excel按行拆分成多個(gè)片段用線程池并行解析和入庫(kù)。不過(guò)這個(gè)方案實(shí)現(xiàn)復(fù)雜度較高數(shù)據(jù)量不是特別大的話沒(méi)必要。第四數(shù)據(jù)庫(kù)連接池配置。導(dǎo)入操作會(huì)占用數(shù)據(jù)庫(kù)連接較長(zhǎng)時(shí)間連接池的maxPoolSize要設(shè)置合理避免導(dǎo)入操作把連接池占滿導(dǎo)致其他業(yè)務(wù)請(qǐng)求無(wú)法處理。5.3 內(nèi)存監(jiān)控與OOM預(yù)防大數(shù)據(jù)量導(dǎo)出最容易出的問(wèn)題就是OOM。除了用流式處理還建議在代碼里加一些內(nèi)存監(jiān)控的邏輯Runtime runtime Runtime.getRuntime(); long usedMemory runtime.totalMemory() - runtime.freeMemory(); if (usedMemory runtime.maxMemory() * 0.8) { // 內(nèi)存使用超過(guò)80%觸發(fā)GC或者暫停處理 System.gc(); // 如果還是高考慮分批處理或者拋出提示 }當(dāng)然System.gc()只是建議JVM執(zhí)行GC不保證立即執(zhí)行。更可靠的做法是在JVM啟動(dòng)參數(shù)里設(shè)置合理的堆大小和GC策略比如-Xmx2g -Xms2g -XX:UseG1GC。6. 常見(jiàn)問(wèn)題與排查技巧實(shí)錄6.1 導(dǎo)出常見(jiàn)問(wèn)題速查表問(wèn)題現(xiàn)象可能原因解決方案導(dǎo)出文件打不開(kāi)提示損壞輸出流未正確關(guān)閉或?qū)懭氩煌暾_保workbook.write()后正確關(guān)閉流使用try-with-resources中文文件名亂碼未做URL編碼使用URLEncoder.encode()并設(shè)置正確的Content-Disposition導(dǎo)出數(shù)據(jù)量大了就OOM使用了XSSFWorkbook或未設(shè)置fetchSize改用SXSSFWorkbook設(shè)置setFetchSize(Integer.MIN_VALUE)日期格式不對(duì)未設(shè)置日期格式或時(shí)區(qū)問(wèn)題使用DateTimeFormat注解或手動(dòng)SimpleDateFormat導(dǎo)出速度特別慢逐條查詢數(shù)據(jù)庫(kù)或頻繁創(chuàng)建樣式批量查詢樣式復(fù)用使用流式寫(xiě)入數(shù)字變成了科學(xué)計(jì)數(shù)法Excel自動(dòng)格式化設(shè)置單元格格式為文本或使用BigDecimal并設(shè)置DataFormat6.2 導(dǎo)入常見(jiàn)問(wèn)題速查表問(wèn)題現(xiàn)象可能原因解決方案讀取不到數(shù)據(jù)表頭行號(hào)設(shè)置錯(cuò)誤檢查headRowNumber參數(shù)默認(rèn)是1日期解析失敗Excel中的日期格式不標(biāo)準(zhǔn)自定義Converter處理多種日期格式數(shù)字精度丟失Excel中數(shù)字被存為double使用String接收再轉(zhuǎn)換或使用BigDecimal批量插入慢未開(kāi)啟rewriteBatchedStatementsJDBC URL添加該參數(shù)部分?jǐn)?shù)據(jù)入庫(kù)失敗未做事務(wù)控制使用事務(wù)失敗時(shí)回滾或記錄錯(cuò)誤行內(nèi)存溢出一次性讀取所有數(shù)據(jù)使用監(jiān)聽(tīng)器模式逐行讀取分批入庫(kù)6.3 幾個(gè)我踩過(guò)的坑第一個(gè)坑MySQL流式讀取的副作用。前面提到setFetchSize(Integer.MIN_VALUE)可以實(shí)現(xiàn)流式讀取但很多人不知道的是在流式讀取模式下如果結(jié)果集沒(méi)有讀完就關(guān)閉了StatementMySQL驅(qū)動(dòng)會(huì)拋出異常。所以一定要確保ResultSet被完整遍歷或者正確關(guān)閉。第二個(gè)坑EasyExcel的并發(fā)寫(xiě)入問(wèn)題。EasyExcel的doWrite()方法不是線程安全的如果多個(gè)線程同時(shí)往同一個(gè)文件寫(xiě)入會(huì)出現(xiàn)數(shù)據(jù)錯(cuò)亂。如果確實(shí)需要并發(fā)導(dǎo)出每個(gè)線程應(yīng)該寫(xiě)入不同的文件最后再合并。第三個(gè)坑Excel的單元格類型判斷。用POI讀取Excel時(shí)cell.getCellType()返回的類型可能和預(yù)期不一致。比如用戶輸入的數(shù)字“123”Excel可能存為NUMERIC類型也可能存為STRING類型。穩(wěn)妥的做法是用DataFormatter來(lái)統(tǒng)一處理DataFormatter formatter new DataFormatter(); String value formatter.formatCellValue(cell);第四個(gè)坑大文件導(dǎo)入時(shí)的超時(shí)問(wèn)題。如果導(dǎo)入的文件很大HTTP請(qǐng)求可能會(huì)超時(shí)。解決方案是把導(dǎo)入操作改成異步的用戶上傳文件后立即返回一個(gè)任務(wù)ID后臺(tái)異步處理用戶通過(guò)任務(wù)ID查詢進(jìn)度和結(jié)果。第五個(gè)坑Excel中的空行處理。用戶可能在數(shù)據(jù)末尾留了很多空行EasyExcel默認(rèn)會(huì)跳過(guò)完全空白的行但如果空行中有格式比如邊框就可能被當(dāng)成有效數(shù)據(jù)。建議在監(jiān)聽(tīng)器的invoke()方法里加一個(gè)判斷如果所有字段都為空就跳過(guò)。7. 一些進(jìn)階思路與擴(kuò)展方向7.1 動(dòng)態(tài)表頭與多Sheet導(dǎo)出實(shí)際項(xiàng)目中經(jīng)常遇到需要?jiǎng)討B(tài)生成表頭的場(chǎng)景比如用戶可以選擇導(dǎo)出哪些字段。EasyExcel支持動(dòng)態(tài)表頭ListListString head new ArrayList(); head.add(Collections.singletonList(ID)); head.add(Collections.singletonList(姓名)); // 根據(jù)用戶選擇動(dòng)態(tài)添加 EasyExcel.write(outputPath) .head(head) .sheet(數(shù)據(jù)) .doWrite(dataList);多Sheet導(dǎo)出也很簡(jiǎn)單多次調(diào)用sheet()方法即可ExcelWriter writer EasyExcel.write(outputPath).build(); WriteSheet sheet1 EasyExcel.writerSheet(0, 用戶數(shù)據(jù)).head(UserExcelDTO.class).build(); WriteSheet sheet2 EasyExcel.writerSheet(1, 訂單數(shù)據(jù)).head(OrderExcelDTO.class).build(); writer.write(userList, sheet1); writer.write(orderList, sheet2); writer.finish();7.2 導(dǎo)入時(shí)的數(shù)據(jù)去重與更新策略導(dǎo)入數(shù)據(jù)時(shí)經(jīng)常需要處理“已存在的數(shù)據(jù)是更新還是跳過(guò)”的問(wèn)題。我的做法是在校驗(yàn)階段查詢數(shù)據(jù)庫(kù)根據(jù)業(yè)務(wù)主鍵判斷數(shù)據(jù)是否已存在然后分別走插入或更新邏輯。批量場(chǎng)景下可以先把所有主鍵查出來(lái)放到一個(gè)Set里避免逐條查詢數(shù)據(jù)庫(kù)。7.3 導(dǎo)出文件的存儲(chǔ)與清理如果是異步導(dǎo)出生成的文件需要臨時(shí)存儲(chǔ)。我一般會(huì)在服務(wù)器上建一個(gè)臨時(shí)目錄文件名用UUID避免沖突然后設(shè)置一個(gè)定時(shí)任務(wù)定期清理超過(guò)24小時(shí)的文件。如果文件比較大還可以考慮壓縮后再提供下載。8. 個(gè)人經(jīng)驗(yàn)總結(jié)做了這么多導(dǎo)出導(dǎo)入的功能我最大的體會(huì)是這個(gè)看似簡(jiǎn)單的需求實(shí)際上考驗(yàn)的是你對(duì)整個(gè)數(shù)據(jù)鏈路的掌控能力。從數(shù)據(jù)庫(kù)查詢、內(nèi)存管理、Excel寫(xiě)入、HTTP響應(yīng)到異常處理每一個(gè)環(huán)節(jié)都可能出問(wèn)題。如果讓我給新手一個(gè)建議那就是先用最簡(jiǎn)單的方案把功能跑通然后再根據(jù)實(shí)際的數(shù)據(jù)量和性能要求逐步優(yōu)化。不要一上來(lái)就追求完美方案很多時(shí)候業(yè)務(wù)方的數(shù)據(jù)量根本沒(méi)那么大過(guò)度設(shè)計(jì)反而增加了維護(hù)成本。另外導(dǎo)入功能的錯(cuò)誤提示一定要做得足夠友好。用戶傳了一個(gè)有問(wèn)題的文件你要告訴他具體是哪一行哪一列出了什么問(wèn)題而不是拋一個(gè)“系統(tǒng)異?！本屯晔铝?。這一點(diǎn)在實(shí)際項(xiàng)目中得到的正面反饋?zhàn)疃嘁彩亲钊菀妆婚_(kāi)發(fā)者忽略的地方。最后分享一個(gè)小技巧在導(dǎo)出功能的測(cè)試階段可以用LIMIT子句限制查詢條數(shù)先驗(yàn)證格式和邏輯是否正確確認(rèn)無(wú)誤后再去掉限制做全量導(dǎo)出。這樣可以避免每次測(cè)試都等待大量數(shù)據(jù)查詢和寫(xiě)入的時(shí)間。