MyBatis Plus大數(shù)據(jù)量查詢慢原因分析及解決

更新時(shí)間：2025年09月21日 15:52:05 作者：night_gu

大數(shù)據(jù)量查詢慢常因全表掃描、分頁(yè)不當(dāng)、索引缺失、內(nèi)存占用高及ORM開(kāi)銷,優(yōu)化措施包括分頁(yè)查詢、流式讀取、SQL優(yōu)化、批處理、多數(shù)據(jù)源、結(jié)果集二次處理及配置調(diào)優(yōu)

大數(shù)據(jù)量查詢慢的常見(jiàn)原因

MyBatis Plus 在處理大數(shù)據(jù)量查詢時(shí)，性能瓶頸通常出現(xiàn)在數(shù)據(jù)庫(kù)連接、網(wǎng)絡(luò)傳輸、內(nèi)存消耗和結(jié)果集處理等方面。

常見(jiàn)問(wèn)題包括全表掃描、未合理使用分頁(yè)、ORM 映射開(kāi)銷過(guò)大等。

優(yōu)化方案

合理使用分頁(yè)查詢

MyBatis Plus 內(nèi)置分頁(yè)插件（PaginationInnerInterceptor），避免一次性加載全部數(shù)據(jù)。

配置示例：

@Configuration
public class MybatisPlusConfig {
    @Bean
    public MybatisPlusInterceptor mybatisPlusInterceptor() {
        MybatisPlusInterceptor interceptor = new MybatisPlusInterceptor();
        interceptor.addInnerInterceptor(new PaginationInnerInterceptor(DbType.MYSQL));
        return interceptor;
    }
}

查詢時(shí)通過(guò) Page 對(duì)象分頁(yè)：

Page<User> page = new Page<>(1, 100); // 當(dāng)前頁(yè), 每頁(yè)條數(shù)
userMapper.selectPage(page, null);

啟用流式查詢

通過(guò) @Options 注解啟用 JDBC 流式讀取，減少內(nèi)存占用：

@Select("SELECT * FROM large_table")
@Options(resultSetType = ResultSetType.FORWARD_ONLY, fetchSize = 1000)
@ResultType(User.class)
void selectLargeData(ResultHandler<User> handler);

使用游標(biāo)處理結(jié)果

結(jié)合 MyBatis 的 Cursor 逐行處理數(shù)據(jù)：

try (Cursor<User> cursor = userMapper.selectCursor(null)) {
    cursor.forEach(user -> {
        // 單行處理邏輯
    });
}

SQL 語(yǔ)句優(yōu)化

添加必要的索引，避免 SELECT *，只查詢必要字段。通過(guò) @SqlParser 注解過(guò)濾邏輯刪除等干擾：

@SqlParser(filter = true)
@Select("SELECT id, name FROM user WHERE status = 1")
List<User> selectActiveUsers();

批處理操作

插入/更新時(shí)使用 saveBatch 方法，通過(guò) rewriteBatchedStatements=true 參數(shù)提升批量性能：

List<User> userList = ... // 大數(shù)據(jù)集合
userService.saveBatch(userList, 1000); // 每批1000條

高級(jí)方案

多數(shù)據(jù)源與讀寫分離

通過(guò) @DS 注解將查詢路由到從庫(kù)，減輕主庫(kù)壓力：

@DS("slave")
@Select("SELECT * FROM read_heavy_table")
List<Record> selectReadHeavyData();

結(jié)果集二次處理

在內(nèi)存充足的情況下，先通過(guò) LIMIT 分頁(yè)查詢 ID，再通過(guò) IN 查詢完整數(shù)據(jù)：

-- 第一步：查詢ID范圍
SELECT id FROM large_table LIMIT 1000000, 1000;
-- 第二步：精確獲取數(shù)據(jù)
SELECT * FROM large_table WHERE id IN (1,2,3...);

配置調(diào)優(yōu)

在 application.yml 中調(diào)整連接池參數(shù)：

spring:
  datasource:
    hikari:
      maximum-pool-size: 20
      connection-timeout: 30000
      idle-timeout: 600000
      max-lifetime: 1800000

監(jiān)控與診斷

啟用 p6spy 監(jiān)控實(shí)際執(zhí)行的 SQL，分析慢查詢?nèi)罩荆?/p>

<dependency>
    <groupId>p6spy</groupId>
    <artifactId>p6spy</artifactId>
    <version>3.9.1</version>
</dependency>

配置 spy.properties 記錄執(zhí)行時(shí)間：

appender=com.p6spy.engine.spy.appender.Slf4JLogger
logMessageFormat=com.p6spy.engine.spy.appender.CustomLineFormat
customLogMessageFormat=%(executionTime) ms | %(category) | %(sql)