Mybatis游標(biāo)查詢大量數(shù)據(jù)方式

更新時(shí)間：2022年02月07日 16:50:27 作者：絆腳石0320

這篇文章主要介紹了Mybatis游標(biāo)查詢大量數(shù)據(jù)方式，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方，望不吝賜教

Mybatis游標(biāo)查詢大量數(shù)據(jù)

對(duì)大量數(shù)據(jù)進(jìn)行處理時(shí)，為防止內(nèi)存泄漏情況發(fā)生，所以采用mybatis plus游標(biāo)方式進(jìn)行數(shù)據(jù)查詢處理，當(dāng)查詢百萬級(jí)的數(shù)據(jù)的時(shí)候，使用游標(biāo)可以節(jié)省內(nèi)存的消耗，不需要一次性取出所有數(shù)據(jù)，可以進(jìn)行逐條處理或逐條取出部分批量處理

mapper層

使用Cursor類型進(jìn)行數(shù)據(jù)接收
@Options，fetchSize設(shè)置為Integer最小值
@Select，寫查詢sql

@Options(resultSetType = ResultSetType.FORWARD_ONLY, fetchSize = Integer.MIN_VALUE)
@Select("select domain from illegal_domain where icpstatus != #{icpstatus}")
Cursor<IllegalDomain> getDayJobDomain(@Param("icpstatus") Integer icpstatus);

service層

Cursor<IllegalDomain> domainList = illegalDomainMapper.getDayJobDomain(1);

數(shù)據(jù)處理

forEach方式

domainList.forEach(illegalDomain -> {
? ? //處理邏輯，根據(jù)業(yè)務(wù)需求自行完成
? ? Future<IcpStatusVo> future = checkIcpThreadPool.submit(new IcpCheckThread(illegalDomain.getDomain(), configMap));
? ? results.add(future);
});

迭代器

Iterator<IllegalDomain> iter = domainList.iterator();
while (iter.hasNext()) {
? ? <!--// Fetch next 10 employees-->
? ? <!--for(int i = 0; i<10 && iter.hasNext(); i++) {-->
? ? <!-- ? ?smallChunk.add(iter.next());-->
? ? <!--}-->
? ??
? ? //處理邏輯，根據(jù)業(yè)務(wù)需求自行完成
? ? Future<IcpStatusVo> future = checkIcpThreadPool.submit(new IcpCheckThread(illegalDomain.getDomain(), configMap));
? ? results.add(future);
}

資源釋放

使用完畢后，在finally塊釋放資源，否則游標(biāo)不關(guān)閉也可能會(huì)導(dǎo)致內(nèi)存溢出問題

try{
? ? //your code
? ??
} catch (Exception e) {
? ? log.error(e);
} finally {
? ? if(null != domainList){
? ? ? ? try {
? ? ? ? ? ? domainList.close();
? ? ? ? } catch (IOException e) {
? ? ? ? ? ? e.printStackTrace();
? ? ? ? }
? ? }
}

Mybatis游標(biāo)使用總結(jié)

當(dāng)查詢百萬級(jí)的數(shù)據(jù)的時(shí)候，查詢出所有數(shù)據(jù)并放入內(nèi)存中時(shí)會(huì)發(fā)生OOM(OutOfMemoryException)，使用游標(biāo)可以節(jié)省內(nèi)存的消耗，不需要一次性取出所有數(shù)據(jù)，可以進(jìn)行逐條處理或逐條取出部分批量處理，在此場景下就可以使用游標(biāo)的概念來解決這個(gè)問題。

什么是游標(biāo)

游標(biāo)（Cursor）是處理數(shù)據(jù)的一種方法，為了查看或者處理結(jié)果集中的數(shù)據(jù)，游標(biāo)提供了在結(jié)果集中一次一行或者多行前進(jìn)或向后瀏覽數(shù)據(jù)的能力。

Demo：

// 第一種
@Options(resultSetType = ResultSetType.FORWARD_ONLY)
@Select("SELECT * FROM department WHERE status = 0")
List<DepartmentEntity> queryDepartmentAll();
 
// 第二種 在Mybatis-3.4.0版本中，不支持@select注解，在3.4.1版本中已經(jīng)修復(fù)：
@Options(resultSetType = ResultSetType.FORWARD_ONLY)
@Select("SELECT * FROM department WHERE status = 0")
Cursor<Employee> cursorQueryDepartmentAll();

@Service
public class DepartmentServiceImpl implements DepartmentService { 
    private static final Logger LOG = LoggerFactory.getLogger(DepartmentServiceImpl.class);
 
    @Autowired
    private DepartmentDao departmentDao;
 
    @Autowired
    private SqlSessionTemplate sqlSessionTemplate; 
    public List<DepartmentDTO> getDepartmentList(DepartmentSearchParam param) {
        Cursor<Object> cursor = null;
        SqlSession sqlSession = null;
        try {
            sqlSession = sqlSessionTemplate.getSqlSessionFactory().openSession();
            cursor = sqlSession.selectCursor(DepartmentDao.class.getName() + ".queryDepartmentAll");
            cursor.forEach(e -> {
                // 處理邏輯
            });
           // 也可以使用迭代器：Iterator<Object> iterator = cursor.iterator();
        } catch (Exception e) {
            e.printStackTrace();
        } finally {
            if (null != cursor) {
                try {
                    cursor.close();
                } catch (Exception e) {
                    LOG.error(e.getMessage(), e);
                }
            }
            if (null != sqlSession) {
                try {
                    sqlSession.close();
                } catch (Exception e) {
                    LOG.error(e.getMessage(), e);
                }
            }
        }
    }
}

ResultSet.TYPE_FORWORD_ONLY 結(jié)果集的游標(biāo)只能向下滾動(dòng)。
ResultSet.TYPE_SCROLL_INSENSITIVE 結(jié)果集的游標(biāo)可以上下移動(dòng)，當(dāng)數(shù)據(jù)庫變化時(shí)，當(dāng)前結(jié)果集不變。
ResultSet.TYPE_SCROLL_SENSITIVE 返回可滾動(dòng)的結(jié)果集，當(dāng)數(shù)據(jù)庫變化時(shí)，當(dāng)前結(jié)果集同步改變。

注意：游標(biāo)是可以前后移動(dòng)的。如果resultSetType = TYPE_SCROLL_INSENSITIVE ，就是設(shè)置游標(biāo)就可以前后移動(dòng)。

Mybatis為了保證可以前后移動(dòng)，Mybatis會(huì)把之前查詢的數(shù)據(jù)一直保存在內(nèi)存中。

所以并不能根本解決OOM，所以我們這里需要設(shè)置為@Options(resultSetType = ResultSetType.FORWARD_ONLY)(其實(shí)默認(rèn)就是ResultSetType.FORWARD_ONLY)

以上為個(gè)人經(jīng)驗(yàn)，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。

您可能感興趣的文章: