java通過RESTful API實現(xiàn)兩個項目之間相互傳輸數(shù)據
更新時間：2025年09月17日 09:16:17 作者：Luffy船長
一些特殊場景中,兩個項目發(fā)布在不同的服務器,并且由于服務器限制特殊情況ip無法相通時進行開放接口方式進行數(shù)據傳輸,下面我們就來看看java通過RESTful API實現(xiàn)這一需求吧
項目場景
一些特殊場景中,兩個項目發(fā)布在不同的服務器,并且由于服務器限制特殊情況ip無法相通時進行開放接口方式進行數(shù)據傳輸
問題描述
兩個服務器之間ip無法相互訪問,數(shù)據沒法進行數(shù)據傳輸
解決方案
通過RESTful API方式定義開放接口實現(xiàn)數(shù)據傳輸
1.開放接口定義
@RequestMapping(value = "/getss", produces = "application/json;charset=UTF-8")
public void getTestChunked(HttpServletResponse response) {
log.info("getTest分塊傳輸接口調用");
long startTime = System.currentTimeMillis();
OutputStream outputStream = null;
JsonGenerator generator = null;
// 調用 GetTime 類的 getFSKTime 方法
GetTime getTime = new GetTime();
HashMap<Object, Object> timeData = getTime.getFSKTime();
try {
// 獲取查詢參數(shù)
String formattedDate = (String) timeData.get("formattedDate");
String formattedEnd = (String) timeData.get("formattedEnd");
log.info("查詢時間范圍：{} ~ {}", formattedDate, formattedEnd);
// 獲取所有數(shù)據
DataSourceUtil.setDB("db2");
List<HbCcsPolicyDataRc> dataList = synchronizationService.getSynchronization(formattedDate, formattedEnd);
if (dataList == null) {
dataList = Collections.emptyList();
}
log.info("查詢完成：共{}條數(shù)據，準備分塊傳輸", dataList.size());
// 設置響應頭
response.setContentType("application/json;charset=UTF-8");
response.setHeader("Connection", "keep-alive");
response.setHeader("Transfer-Encoding", "chunked");
response.setHeader("X-Total-Count", String.valueOf(dataList.size()));
response.setHeader("Cache-Control", "no-cache");
response.setHeader("Pragma", "no-cache");
// 使用Jackson流式API分塊寫入響應
ObjectMapper objectMapper = new ObjectMapper();
outputStream = response.getOutputStream();
generator = objectMapper.getFactory().createGenerator(outputStream);
generator.writeStartArray(); // 開始數(shù)組
int chunkSize = 500; // 減小每塊的大小，避免緩沖區(qū)溢出
int totalSize = dataList.size();
for (int i = 0; i < totalSize; i++) {
// 檢查客戶端是否仍然連接
try {
response.getOutputStream(); // 這將拋出異常如果客戶端斷開
} catch (IOException e) {
log.warn("客戶端已斷開連接，終止傳輸");
break;
}
// 寫入單個對象
objectMapper.writeValue(generator, dataList.get(i));
// 每chunkSize條數(shù)據刷新一次緩沖區(qū)
if ((i + 1) % chunkSize == 0) {
generator.flush();
log.info("已傳輸{}條數(shù)據，進度: {}%", i + 1, (i + 1) * 100 / totalSize);
// 添加小延遲，避免 overwhelming 客戶端
try {
Thread.sleep(10);
} catch (InterruptedException ie) {
Thread.currentThread().interrupt();
break;
}
}
}
generator.writeEndArray(); // 結束數(shù)組
generator.flush();
log.info("分塊傳輸完成：共{}條數(shù)據，耗時{}ms",
dataList.size(), System.currentTimeMillis() - startTime);
} catch (ClientAbortException e) {
log.warn("客戶端中止了連接: {}", e.getMessage());
} catch (Exception e) {
log.error("getTest分塊傳輸接口執(zhí)行失敗", e);
if (!response.isCommitted()) {
try {
response.sendError(HttpStatus.INTERNAL_SERVER_ERROR.value(), "數(shù)據獲取失敗");
} catch (IOException ex) {
log.error("發(fā)送錯誤響應失敗", ex);
}
}
} finally {
// 確保資源被正確關閉
try {
if (generator != null) {
generator.close();
}
} catch (IOException e) {
log.warn("關閉JsonGenerator時發(fā)生錯誤", e);
}
try {
if (outputStream != null) {
outputStream.close();
}
} catch (IOException e) {
log.warn("關閉OutputStream時發(fā)生錯誤", e);
}
// 幫助GC回收大對象
data1 = null;
System.gc();
}
}2.開放接口調用
public void fetchDataFromServer1() {
log.info("===== 開始執(zhí)行 fetchDataFromServer1（分塊傳輸模式）=====");
RestTemplate chunkedRestTemplate = createChunkedRestTemplate();
String url = server1BaseUrl + "/getReceive/getsss";
log.info("調用 getTestChunked 分塊傳輸接口，URL: {}", url);
try {
// 使用自定義的ResponseExtractor來處理流式響應
List<HbCcsPolicyDataRc> dataList = chunkedRestTemplate.execute(
url,
HttpMethod.GET,
null,
new ResponseExtractor<List<HbCcsPolicyDataRc>>() {
@Override
public List<HbCcsPolicyDataRc> extractData(ClientHttpResponse response) throws IOException {
return processStreamingResponse(response, HbCcsPolicyDataRc.class);
}
}
);
log.info("===== fetchDataFromServer1 完成，共處理{}條數(shù)據 =====", dataList != null ? dataList.size() : 0);
getCCSCroData();
} catch (Exception e) {
log.error("fetchDataFromServer1 整體失敗", e);
throw new RuntimeException("fetchDataFromServer1 失?。? + e.getMessage(), e);
} finally {
// 幫助GC回收資源
System.gc();
}
}// 修改流式響應處理方法
private <T> List<T> processStreamingResponse(ClientHttpResponse response, Class<T> valueType) throws IOException {
List<T> dataList = new ArrayList<>();
ObjectMapper objectMapper = getConfiguredObjectMapper();
InputStream inputStream = response.getBody();
try (JsonParser parser = objectMapper.getFactory().createParser(inputStream)) {
if (parser.nextToken() != JsonToken.START_ARRAY) {
throw new IOException("Expected data to start with an Array");
}
int count = 0;
long lastLogTime = System.currentTimeMillis();
while (parser.nextToken() != JsonToken.END_ARRAY) {
T record = objectMapper.readValue(parser, valueType);
dataList.add(record);
count++;
// 每1000條或每30秒日志輸出一次
long currentTime = System.currentTimeMillis();
if (count % 1000 == 0 || currentTime - lastLogTime > 30000) {
log.info("已解析{}條數(shù)據", count);
lastLogTime = currentTime;
}
// 定期批量處理，避免內存占用過高
if (count % 5000 == 0) {
processBatchData(dataList, valueType);
dataList.clear(); // 清空列表，避免內存占用過高
System.gc(); // 建議垃圾回收
}
}
// 處理最后一批數(shù)據
if (!dataList.isEmpty()) {
processBatchData(dataList, valueType);
}
}
log.info("共解析{}條數(shù)據", dataList.size());
return dataList;
}
// 批量處理數(shù)據的方法
private <T> void processBatchData(List<T> dataList, Class<T> valueType) {
try {
DataSourceUtil.setDB("db3");
if (valueType == HbCcsPolicyDataRc.class) {
dmService.setHbCcsPolicyDataRc((List<HbCcsPolicyDataRc>) dataList);
} else if (valueType == HbCcsCrosssellPEMIUM.class) {
dmService.setHbCcsCrosssellPEMIUM((List<HbCcsCrosssellPEMIUM>) dataList);
} else if (valueType == HbCcsLpDataRc.class) {
dmService.HbCcsLpDataRc((List<HbCcsLpDataRc>) dataList);
}
log.info("成功處理一批數(shù)據，數(shù)量: {}", dataList.size());
} catch (Exception e) {
log.error("處理批量數(shù)據時發(fā)生錯誤", e);
// 這里可以添加重試邏輯或錯誤記錄
}
}
// 6. 工具方法：復用 JSON 解析器配置（避免重復設置容錯屬性）
private ObjectMapper getConfiguredObjectMapper() {
ObjectMapper objectMapper = new ObjectMapper();
// 容錯配置：忽略未知字段、允許單值數(shù)組
objectMapper.configure(DeserializationFeature.FAIL_ON_UNKNOWN_PROPERTIES, false);
objectMapper.configure(DeserializationFeature.ACCEPT_SINGLE_VALUE_AS_ARRAY, true);
return objectMapper;
}
// 創(chuàng)建專用的分塊傳輸RestTemplate
private RestTemplate createChunkedRestTemplate() {
SimpleClientHttpRequestFactory factory = new SimpleClientHttpRequestFactory();
// 設置超時時間（單位：毫秒）
factory.setConnectTimeout(120000); // 2分鐘連接超時
factory.setReadTimeout(3600000); // 1小時讀取超時（大數(shù)據傳輸需要更長時間）
// 禁用緩沖
factory.setBufferRequestBody(false);
RestTemplate restTemplate = new RestTemplate(factory);
// 配置消息轉換器
List<HttpMessageConverter<?>> converters = new ArrayList<>();
// 字符串轉換器
StringHttpMessageConverter stringConverter = new StringHttpMessageConverter(StandardCharsets.UTF_8);
stringConverter.setWriteAcceptCharset(false);
converters.add(stringConverter);
// JSON轉換器
MappingJackson2HttpMessageConverter jsonConverter = new MappingJackson2HttpMessageConverter();
jsonConverter.setSupportedMediaTypes(Collections.singletonList(MediaType.APPLICATION_JSON));
converters.add(jsonConverter);
restTemplate.setMessageConverters(converters);
return restTemplate;
}3.核心配置
這個配置兩個項目的yml都需要加
server1:
base-url: http://127.0.0.1:8060#根據情況而變
auth:
username: admin
password: admin
server:
max-http-header-size: 1000000
servlet:
multipart:
max-file-size: 1000MB
max-request-size: 1000MB
tomcat:
max-swallow-size: 1000MB
max-http-form-post-size: 1000MB
threads:
max: 200
min-spare: 20
keep-alive-timeout: 300000@Value("${server1.base-url}")
private String server1BaseUrl;這段代碼加到controller類中這是將yml配置文件的路徑注冊到controller了
這種適合小數(shù)據傳輸,大數(shù)據傳輸需要配置服務器的Nginx配置需要將接口配置上盡量統(tǒng)一接口前綴不然可能會報錯具體就不展示了
到此這篇關于java通過RESTful API實現(xiàn)兩個項目之間相互傳輸數(shù)據的文章就介紹到這了,更多相關java項目互傳輸數(shù)據內容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家！
相關文章
這篇文章主要介紹了java調用mysql存儲過程的方法,以實例形式較為詳細的分析了mysql數(shù)據庫的建立和存儲過程的實現(xiàn)方法,需要的朋友可以參考下2015-06-06
本篇文章介紹了，在Java中多線程的用法詳解。需要的朋友參考下2013-04-04
Java基礎知識之ByteArrayOutputStream流的使用
這篇文章主要介紹了Java基礎知識之ByteArrayOutputStream流的使用，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教2021-12-12
反射賦予了我們在運行時分析類以及執(zhí)行類中方法的能力。通過反射你可以獲取任意一個類的所有屬性和方法，你還可以調用這些方法和屬性。本文就來和大家詳細聊聊Java中的反射，感興趣的可以了解一下2023-01-01
Java全面細致講解Cookie與Session及kaptcha驗證碼的使用
web開發(fā)階段我們主要是瀏覽器和服務器之間來進行交互。瀏覽器和服務器之間的交互就像人和人之間進行交流一樣，但是對于機器來說，在一次請求之間只是會攜帶著本次請求的數(shù)據的，但是可能多次請求之間是會有聯(lián)系的，所以提供了會話機制2022-06-06
Mybatis如何解決sql中l(wèi)ike通配符模糊匹配問題
這篇文章主要介紹了Mybatis如何解決sql中l(wèi)ike通配符模糊匹配問題，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教2022-01-01
什么是條件構造器呢？簡單來說，條件構造器就是用來生成我們查數(shù)據庫的sql。它可以簡化sql代碼的編寫，靈活、方便且易于維護2021-09-09
Java中的String.valueOf()和toString()方法區(qū)別小結
字符串操作是開發(fā)者日常編程任務中不可或缺的一部分,轉換為字符串是一種常見需求,其中最常見的就是String.valueOf()和toString()方法,本文主要介紹了Java中的String.valueOf()和toString()方法區(qū)別小結,感興趣的可以了解一下2025-04-04
這篇文章主要介紹了SpringBoot中各種Controller的寫法，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教2023-07-07
這篇文章主要介紹了Java中的內存分配圖解,Java 程序運行時，需要在內存中分配空間。為了提高運算效率，就對空間進行了不同區(qū)域的劃分，因為每一片區(qū)域都有特定的處理數(shù)據方式和內存管理方式,需要的朋友可以參考下2023-08-08