一、核心前提：MySQL 原生是否支持「流式查詢」？

MySQL 本身無服務(wù)器端流式查詢能力，僅客戶端可通過配置實(shí)現(xiàn)「流式讀取」，二者的核心區(qū)別直接決定了 2000 萬條數(shù)據(jù)查詢的異常表現(xiàn)：

表格

二、2000 萬條數(shù)據(jù)查詢的異常表現(xiàn)（是否撐爆 / 觸發(fā) OOM？）

1. 服務(wù)器端：極少直接 OOM，核心問題是「IO 假死 / 超時(shí) / 磁盤飆滿」

• 核心原因：MySQL 服務(wù)器不會將 2000 萬條數(shù)據(jù)（假設(shè)單條 1KB≈20GB）全部加載到內(nèi)存，而是將超出內(nèi)存緩沖區(qū)（sort_buffer/join_buffer）的部分寫入臨時(shí)磁盤文件；大量數(shù)據(jù)的磁盤讀寫會導(dǎo)致磁盤 IO 100% 占滿，服務(wù)器進(jìn)程阻塞（假死），查詢超時(shí)、連接斷開，甚至數(shù)據(jù)庫服務(wù)卡頓。
• OOM 觸發(fā)條件（極少見）：僅當(dāng)服務(wù)器內(nèi)存極小（如 4GB 以下）且臨時(shí)磁盤空間不足時(shí)，才會因內(nèi)存 / 磁盤資源耗盡觸發(fā) OOM。

2. 客戶端：未開流式讀取必觸發(fā) OOM，開流式則無風(fēng)險(xiǎn)

• 緩沖讀?。J(rèn)）：如 JDBC 默認(rèn)配置、Navicat/DBeaver 等 GUI 工具，會一次性接收服務(wù)器推送的全量 2000 萬條數(shù)據(jù)，數(shù)據(jù)量遠(yuǎn)超客戶端進(jìn)程 / JVM 內(nèi)存上限（如 JVM 堆內(nèi)存僅 8GB），直接觸發(fā) OOM（內(nèi)存溢出）。
• 流式讀?。@式配置）：如 mysql 命令行（默認(rèn)開啟）、JDBC 手動配置流式查詢，會逐批 / 逐行接收數(shù)據(jù)，處理完一批釋放一批內(nèi)存，內(nèi)存占用恒定（僅幾十 KB~ 幾 MB），不會 OOM。

三、分維度解決方案（針對性解決服務(wù)器 / 客戶端問題）

1. 服務(wù)器端：解決 IO 假死 / 超時(shí)（唯一根本方案：拆分查詢）

核心邏輯：將 2000 萬條數(shù)據(jù)拆分為小批次（如每批 1 萬條），讓服務(wù)器每次僅處理少量數(shù)據(jù)，避免全量數(shù)據(jù)觸發(fā)大量磁盤 IO。

# Shell腳本分批次查詢（按自增主鍵拆分，通用最優(yōu)方案）
#!/bin/bash
# 配置MySQL連接信息
MYSQL_USER="root"
MYSQL_PWD="你的密碼"
MYSQL_DB="目標(biāo)數(shù)據(jù)庫"
TABLE_NAME="目標(biāo)表"
RESULT_FILE="query_result.txt"

# 配置分批參數(shù)：每批1萬條，總數(shù)據(jù)2000萬條
start_id=1
batch_size=10000
total_data=20000000

# 循環(huán)分批次查詢
while [ $start_id -le $total_data ]; do
  end_id=$((start_id + batch_size - 1))
  # 小批次查詢：服務(wù)器僅加載1萬條數(shù)據(jù)，無大量臨時(shí)磁盤IO
  mysql -u${MYSQL_USER} -p${MYSQL_PWD} -D${MYSQL_DB} -N -s -e \
    "SELECT * FROM ${TABLE_NAME} WHERE id BETWEEN ${start_id} AND ${end_id};" >> ${RESULT_FILE}
  
  # 打印進(jìn)度（可選）
  echo "已查詢：id ${start_id} ~ ${end_id}，進(jìn)度：$((start_id*100/total_data))%"
  
  # 更新起始ID，休眠0.2秒降低服務(wù)器壓力
  start_id=$((end_id + 1))
  sleep 0.2
done

echo "2000萬條數(shù)據(jù)查詢完成，結(jié)果已寫入${RESULT_FILE}"

適配無連續(xù)主鍵場景：若無自增 ID，可按時(shí)間字段拆分（如按創(chuàng)建時(shí)間分天 / 小時(shí)查詢）：

-- 示例：按create_time分批次查詢（每批1小時(shí)數(shù)據(jù)）
SELECT * FROM big_table WHERE create_time BETWEEN '2026-01-01 00:00:00' AND '2026-01-01 01:00:00';

2. 客戶端：解決 OOM（強(qiáng)制開啟流式讀?。?/strong>

# my.cnf / my.ini 配置
[mysqld]
# 臨時(shí)文件目錄指向高速磁盤（如SSD），降低IO耗時(shí)
tmpdir = /data/mysql_tmp 
# 內(nèi)存臨時(shí)表上限，超出則寫入磁盤（不宜過大，避免占用過多內(nèi)存）
tmp_table_size = 64M     
max_heap_table_size = 64M
# 排序/讀取緩沖區(qū)大小，避免單查詢占用過多內(nèi)存
sort_buffer_size = 1M    
read_buffer_size = 1M    
# 關(guān)閉不必要的預(yù)讀，減少磁盤IO
innodb_read_ahead_threshold = 0
# 限制單查詢的并行度，避免搶占資源
innodb_thread_concurrency = 8