Java實(shí)現(xiàn)Elasticsearch查詢當(dāng)前索引全部數(shù)據(jù)的完整代碼

更新時(shí)間：2025年02月06日 11:27:14 作者：csdn565973850

這篇文章主要介紹了如何在Java中實(shí)現(xiàn)查詢Elasticsearch索引中指定條件下的全部數(shù)據(jù),通過設(shè)置滾動(dòng)查詢參數(shù)（scroll）,可以一次性獲取滿足條件的數(shù)據(jù),而不需要限制每頁(yè)的查詢條數(shù)大小,這樣可以避免因數(shù)據(jù)量過大而引發(fā)的性能問題,需要的朋友可以參考下

需求背景

通常情況下，Elasticsearch 為了提高查詢效率，對(duì)于不指定分頁(yè)查詢條數(shù)的查詢語句，默認(rèn)會(huì)返回10條數(shù)據(jù)。那么這就會(huì)有一種情況，當(dāng)你需要一次性返回 Elasticsearch 索引中的全部數(shù)據(jù)時(shí)，就無法實(shí)現(xiàn)了。這個(gè)時(shí)候你可能會(huì)考慮，比如我將每頁(yè)取值的size 設(shè)置的很大，這樣或許可以解決問題，但是數(shù)據(jù)量的上升你是無法控制的，最終會(huì)有一天數(shù)據(jù)量會(huì)超過你此時(shí)設(shè)置的最大 size，那么這就是一個(gè)雷點(diǎn)。并且如果一次查詢很大量數(shù)據(jù)的話，即便是 Elasticsearch 查詢效率高的索引結(jié)構(gòu)可能也會(huì)導(dǎo)致查詢時(shí)長(zhǎng)較長(zhǎng)，甚至響應(yīng)超時(shí)。那么是否有一種查詢效率高，且相對(duì)靈活的方式可以查詢 Elasticsearch 的索引中全部數(shù)據(jù)呢？答案是：有的。

通常情況

下面來看一下在不設(shè)置 size 大小的情況下，執(zhí)行 Elasticsearch 查詢語句默認(rèn)返回幾條數(shù)據(jù)，結(jié)果是默認(rèn)返回 10條。執(zhí)行如下查詢命令

GET crm_meiqia_conversation/_search

返回結(jié)果如圖，這時(shí)我們看到返回了 10 條數(shù)據(jù)

此時(shí)如果你需要查詢更多數(shù)據(jù)的話，你就可以通過指定 size 大小來查詢更多數(shù)據(jù)，比如執(zhí)行如下命令

GET crm_meiqia_conversation/_search
{
  "size":20
}

執(zhí)行查詢語句后返回的結(jié)果如圖所示，索引查詢會(huì)返回你指定 size 大小的數(shù)據(jù)

很明顯，在一些特殊的場(chǎng)景下，想要一次性查詢指定條件下的所有數(shù)據(jù)改如何操作呢，下面就來基于 Java 實(shí)現(xiàn)查詢指定條件下的所有數(shù)據(jù)操作。

Java 實(shí)現(xiàn)查詢 Elasticsearch 全部數(shù)據(jù)

在具體講解如何通過 Java 實(shí)現(xiàn)查詢 Elasticsearch 全部數(shù)據(jù)之前，我們可以先來看一下我已經(jīng)實(shí)現(xiàn)之后的查詢效果。這里你可以看到滾動(dòng)州已經(jīng)變得很小，這就是因?yàn)槲也樵兂隽酥付l件下的全部數(shù)據(jù)導(dǎo)致的，而不是默認(rèn)的 10 條數(shù)據(jù)

而如果沒有實(shí)現(xiàn)查詢指定索引指定條件下的全部數(shù)據(jù)時(shí)，看到的效果應(yīng)該是這樣的，默認(rèn)只能一次性查詢 10 條數(shù)據(jù)返回

下面再來講一下如何通過 Java 實(shí)現(xiàn) 查詢 es 全部數(shù)據(jù)，我們由淺入深來講解，首先來看一下默認(rèn)查詢 es 10條數(shù)據(jù)的代碼，Java 通過如下 SearchRequestBuilder searchRequest = client.prepareSearch(indexProperties.getMeiqiaConversationIndex()).setTypes(indexProperties.getMeiqiaConversationType()).setQuery(query); 構(gòu)造查詢 es 索引代碼，這種情況沒有設(shè)置 size 大小，默認(rèn)的話就是查詢指定索引下 10條數(shù)據(jù)，完整代碼如下：

public AjaxResult getMeiqiaUidList(MeiqiaConversation meiqiaConversation) {
        BoolQueryBuilder query = QueryBuilders.boolQuery();
        BoolQueryBuilder boolQuery = QueryBuilders.boolQuery();
        //會(huì)話id
        Long convId = meiqiaConversation.getConvId();
        if (convId != null) {
            boolQuery.filter(QueryBuilders.termQuery("convId",convId));
        }
        //會(huì)話日期
        String convStartDate = (String) meiqiaConversation.getParams().get("convStartDate");
        String convEndDate = (String) meiqiaConversation.getParams().get("convEndDate");
        if (StringUtils.isNotEmpty(convStartDate)) {
            Date date = DateUtils.stringToDate(convStartDate, DateUtils.SDF_YMDHMS);
            boolQuery.filter(QueryBuilders.rangeQuery("convStartDate").gte(date.getTime()));
        }
        if (StringUtil.isNotEmptyString(convEndDate)) {
            Date date = DateUtils.stringToDate(convEndDate, DateUtils.SDF_YMDHMS);
            boolQuery.filter(QueryBuilders.rangeQuery("convEndDate").lte(date.getTime()));
        }
        //會(huì)話日期
        Date convStartDate2 = meiqiaConversation.getConvStartDate();
        Date convEndDate2 = meiqiaConversation.getConvEndDate();
        if (Objects.nonNull(convStartDate2)) {
            boolQuery.filter(QueryBuilders.rangeQuery("convStartDate").gte(convStartDate2.getTime()));
        }
        if (Objects.nonNull(convEndDate2)) {
            boolQuery.filter(QueryBuilders.rangeQuery("convEndDate").lte(convEndDate2.getTime()));
        }
        //學(xué)號(hào)
        String uid = (String) meiqiaConversation.getParams().get("uid");
        if (StringUtils.isNotEmpty(uid)) {
            if (uid.contains("#")) {
                String replace = uid.replace("#", "");
                boolQuery.filter(QueryBuilders.termQuery("clientInfo.name",replace));
            }else {
                boolQuery.filter(QueryBuilders.termQuery("clientInfo.uid",uid));
            }
        }
        //客服工號(hào)
        String agentId = (String) meiqiaConversation.getParams().get("agentId");
        if (StringUtils.isNotEmpty(agentId)) {
            boolQuery.filter(QueryBuilders.termQuery("agentId",agentId));
        }
        // 會(huì)話內(nèi)容
        String content = (String) meiqiaConversation.getParams().get("content");
        if (StringUtils.isNotEmpty(content)) {
            boolQuery.filter(QueryBuilders.matchPhrasePrefixQuery("convContent.content",content));
        }

        query.must(boolQuery);

        // 初始化搜索請(qǐng)求構(gòu)建器，用于構(gòu)造搜索請(qǐng)求
        SearchRequestBuilder searchRequest = client.prepareSearch(indexProperties.getMeiqiaConversationIndex())
                // 設(shè)置搜索的類型
                .setTypes(indexProperties.getMeiqiaConversationType())
                // 設(shè)置查詢條件
                .setQuery(query);


        // 使用SearchRequest獲取搜索響應(yīng)
        SearchResponse searchResponse = searchRequest.get();
        // 初始化存儲(chǔ)所有搜索結(jié)果的列表
        List<EsMeiqiaConversation> rows = new ArrayList<>();
        // 格式化搜索響應(yīng)中的數(shù)據(jù)，并添加到rows列表中
        List<EsMeiqiaConversation> list1 = formatMeiqiaDto(searchResponse);
        rows.addAll(list1);


        //記錄返回的uid name
        List<MeiqiaConversation> list = new ArrayList<>();
        if (CollectionUtils.isNotEmpty(rows)) {
            //獲取 uid name
            Map<String, List<EsMeiqiaConversation>> collect = rows.stream().collect(Collectors.groupingBy(EsMeiqiaConversation::getClientUid, Collectors.toList()));
            Set<String> uids = collect.keySet();
            for (String u : uids) {
                MeiqiaConversation conv = new MeiqiaConversation();
                conv.setUid(u);
                //同一個(gè)uid 對(duì)應(yīng)同一個(gè) name
                List<EsMeiqiaConversation> esconv = collect.get(u);
                String name = esconv.get(0).getClientName();
                conv.setName(name);
                list.add(conv);
            }
        }
        return AjaxResult.success(list);
    }

那么如何實(shí)現(xiàn) 一次查詢滿足條件的全部 es 數(shù)據(jù)呢，這就需要通過 scroll 實(shí)現(xiàn)，在初始化索引查詢構(gòu)造器時(shí)通過 SearchRequestBuilder searchRequest = client.prepareSearch(indexProperties.getMeiqiaConversationIndex()).setTypes(indexProperties.getMeiqiaConversationType()).setQuery(query).setSize(100).setScroll(TimeValue.timeValueMinutes(1)); 設(shè)置 scroll 參數(shù)來實(shí)現(xiàn)，同時(shí)需要再后續(xù)增加再次查詢索引邏輯，將 scorllId 循環(huán)傳遞獲取全部數(shù)據(jù)，最終改造后的獲取全部數(shù)據(jù)的代碼如下

    public AjaxResult getMeiqiaUidList(MeiqiaConversation meiqiaConversation) {
        BoolQueryBuilder query = QueryBuilders.boolQuery();
        BoolQueryBuilder boolQuery = QueryBuilders.boolQuery();
        //會(huì)話id
        Long convId = meiqiaConversation.getConvId();
        if (convId != null) {
            boolQuery.filter(QueryBuilders.termQuery("convId",convId));
        }
        //會(huì)話日期
        String convStartDate = (String) meiqiaConversation.getParams().get("convStartDate");
        String convEndDate = (String) meiqiaConversation.getParams().get("convEndDate");
        if (StringUtils.isNotEmpty(convStartDate)) {
            Date date = DateUtils.stringToDate(convStartDate, DateUtils.SDF_YMDHMS);
            boolQuery.filter(QueryBuilders.rangeQuery("convStartDate").gte(date.getTime()));
        }
        if (StringUtil.isNotEmptyString(convEndDate)) {
            Date date = DateUtils.stringToDate(convEndDate, DateUtils.SDF_YMDHMS);
            boolQuery.filter(QueryBuilders.rangeQuery("convEndDate").lte(date.getTime()));
        }
        //會(huì)話日期
        Date convStartDate2 = meiqiaConversation.getConvStartDate();
        Date convEndDate2 = meiqiaConversation.getConvEndDate();
        if (Objects.nonNull(convStartDate2)) {
            boolQuery.filter(QueryBuilders.rangeQuery("convStartDate").gte(convStartDate2.getTime()));
        }
        if (Objects.nonNull(convEndDate2)) {
            boolQuery.filter(QueryBuilders.rangeQuery("convEndDate").lte(convEndDate2.getTime()));
        }
        //學(xué)號(hào)
        String uid = (String) meiqiaConversation.getParams().get("uid");
        if (StringUtils.isNotEmpty(uid)) {
            if (uid.contains("#")) {
                String replace = uid.replace("#", "");
                boolQuery.filter(QueryBuilders.termQuery("clientInfo.name",replace));
            }else {
                boolQuery.filter(QueryBuilders.termQuery("clientInfo.uid",uid));
            }
        }
        //客服工號(hào)
        String agentId = (String) meiqiaConversation.getParams().get("agentId");
        if (StringUtils.isNotEmpty(agentId)) {
            boolQuery.filter(QueryBuilders.termQuery("agentId",agentId));
        }
        // 會(huì)話內(nèi)容
        String content = (String) meiqiaConversation.getParams().get("content");
        if (StringUtils.isNotEmpty(content)) {
            boolQuery.filter(QueryBuilders.matchPhrasePrefixQuery("convContent.content",content));
        }

        query.must(boolQuery);

        // 初始化搜索請(qǐng)求構(gòu)建器，用于構(gòu)造搜索請(qǐng)求
        SearchRequestBuilder searchRequest = client.prepareSearch(indexProperties.getMeiqiaConversationIndex())
                // 設(shè)置搜索的類型
                .setTypes(indexProperties.getMeiqiaConversationType())
                // 設(shè)置查詢條件
                .setQuery(query)
                // 設(shè)置返回結(jié)果的數(shù)量為100
                .setSize(100)
                // 設(shè)置滾動(dòng)查詢的時(shí)間間隔為1分鐘
                .setScroll(TimeValue.timeValueMinutes(1));

        // 使用SearchRequest獲取搜索響應(yīng)
        SearchResponse searchResponse = searchRequest.get();
        // 初始化存儲(chǔ)所有搜索結(jié)果的列表
        List<EsMeiqiaConversation> rows = new ArrayList<>();
        // 格式化搜索響應(yīng)中的數(shù)據(jù)，并添加到rows列表中
        List<EsMeiqiaConversation> list1 = formatMeiqiaDto(searchResponse);
        rows.addAll(list1);
        // 使用Scroll方式遍歷所有搜索結(jié)果
        do {
            // 準(zhǔn)備下一次Scroll搜索，設(shè)置滾動(dòng)時(shí)間為1分鐘
            // 將scorllId循環(huán)傳遞 獲取全部數(shù)據(jù)
            searchResponse = client.prepareSearchScroll(searchResponse.getScrollId()).setScroll(TimeValue.timeValueMinutes(1)).execute().actionGet();
            // 格式化新一批搜索結(jié)果，并添加到rows列表中
            List<EsMeiqiaConversation> list = formatMeiqiaDto(searchResponse);
            if (CollectionUtils.isNotEmpty(list)) {
                rows.addAll(list);
            }
            // 當(dāng)搜索結(jié)果為空時(shí)，結(jié)束循環(huán)
            // 當(dāng)searchHits的數(shù)組為空的時(shí)候結(jié)束循環(huán)，至此數(shù)據(jù)全部讀取完畢
        } while (searchResponse.getHits().getHits().length != 0);

        // 創(chuàng)建一個(gè)ClearScrollRequest實(shí)例，用于清除滾動(dòng)查詢的會(huì)話。
        ClearScrollRequest clearScrollRequest = new ClearScrollRequest();

        // 將上一次查詢返回的滾動(dòng)ID添加到請(qǐng)求中，以便清除這個(gè)特定的會(huì)話。
        // 這是必要的，因?yàn)镃learScrollRequest需要至少一個(gè)滾動(dòng)ID才能執(zhí)行清除操作。
        clearScrollRequest.addScrollId(searchResponse.getScrollId());

        // 發(fā)送ClearScroll請(qǐng)求并獲取操作的結(jié)果。
        // 這一步是必需的，因?yàn)樗鼘?shí)際執(zhí)行了清除滾動(dòng)會(huì)話的操作，并允許我們處理結(jié)果或任何異常。
        client.clearScroll(clearScrollRequest).actionGet();

        //記錄返回的uid name
        List<MeiqiaConversation> list = new ArrayList<>();
        if (CollectionUtils.isNotEmpty(rows)) {
            //獲取 uid name
            Map<String, List<EsMeiqiaConversation>> collect = rows.stream().collect(Collectors.groupingBy(EsMeiqiaConversation::getClientUid, Collectors.toList()));
            Set<String> uids = collect.keySet();
            for (String u : uids) {
                MeiqiaConversation conv = new MeiqiaConversation();
                conv.setUid(u);
                //同一個(gè)uid 對(duì)應(yīng)同一個(gè) name
                List<EsMeiqiaConversation> esconv = collect.get(u);
                String name = esconv.get(0).getClientName();
                conv.setName(name);
                list.add(conv);
            }
        }
        return AjaxResult.success(list);
    }

那么這段的核心代碼是增加了滾動(dòng)查詢數(shù)據(jù)的操作，如圖所示

同時(shí)再執(zhí)行循環(huán)查詢時(shí)將 scrollId 循環(huán)傳遞，并將查詢結(jié)果 addAll 到當(dāng)前l(fā)ist 的集合中

查詢結(jié)束之后，最后是清除滾動(dòng)會(huì)話的操作

到這里關(guān)于 Java 實(shí)現(xiàn) es 查詢指定條件下的全部數(shù)據(jù)操作就結(jié)束了，整個(gè)操作過程比較容易理解，增加了 es 滾動(dòng)查詢 scroll 操作來實(shí)現(xiàn)查詢 es 全部數(shù)據(jù)。

寫在最后

最后想要說的是，對(duì)于 es 查詢，通常情況下是不需要一次性查詢出當(dāng)前索引所有條件下的數(shù)據(jù)的，畢竟數(shù)據(jù)量比較大，但是也有特殊的場(chǎng)景，這個(gè)時(shí)候不得不一次性查詢出所有的數(shù)據(jù)，這就需要上文中用到的辦法了，希望對(duì)大家有幫助。

到此這篇關(guān)于Java實(shí)現(xiàn)Elasticsearch查詢當(dāng)前索引全部數(shù)據(jù)的文章就介紹到這了,更多相關(guān)Java Elasticsearch查詢當(dāng)前索引全部數(shù)據(jù)內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

您可能感興趣的文章: