Redis大量數(shù)據(jù)插入過程
有些時候,Redis實例需要裝載大量用戶在短時間內(nèi)產(chǎn)生的數(shù)據(jù),數(shù)以百萬計的keys需要被快速的創(chuàng)建。
我們稱之為大量數(shù)據(jù)插入(mass insertion),本文檔的目標就是提供如下信息:Redis如何盡可能快的處理數(shù)據(jù)。
本文參考網(wǎng)上方案特意整理總結(jié)如下:
方式一:使用Luke協(xié)議,通過redis-cli –pipe發(fā)送數(shù)據(jù)到服務器
使用正常模式的Redis 客戶端執(zhí)行大量數(shù)據(jù)插入不是一個好主意:因為一個個的插入會有大量的時間浪費在每一個命令往返時間上。
使用管道(pipelining)是一種可行的辦法,但是在大量插入數(shù)據(jù)的同時又需要執(zhí)行其他新命令時,這時讀取數(shù)據(jù)的同時需要確保請可能快的的寫入數(shù)據(jù)。
只有一小部分的客戶端支持非阻塞輸入/輸出(non-blocking I/O),并且并不是所有客戶端能以最大限度的提高吞吐量的高效的方式來分析答復。
例如,如果我們需要生成一個10億的`keyN -> ValueN’的大數(shù)據(jù)集,我們會創(chuàng)建一個如下的redis命令集的文件:
SET Key0 Value0 SET Key1 Value1 ... SET KeyN ValueN
從Redis 2.6開始redis-cli支持一種新的被稱之為pipe mode的新模式用于執(zhí)行大量數(shù)據(jù)插入工作。使用pipe mode模式的執(zhí)行命令如下:
cat data.txt | redis-cli --pipe
這將產(chǎn)生類似如下的輸出:
All data transferred. Waiting for the last reply... Last reply received from server. errors: 0, replies: 1000000
使用redis-cli將有效的確保錯誤輸出到Redis實例的標準輸出里面。
1.1 生成Redis協(xié)議
它會非常簡單的生成和解析Redis協(xié)議,Redis協(xié)議文檔請參考Redis協(xié)議說明。 但是為了生成大量數(shù)據(jù)插入的目標,你需要了解每一個細節(jié)協(xié)議,每個命令會用如下方式表示:
*<args><cr><lf> $<len><cr><lf> <arg0><cr><lf> <arg1><cr><lf> ... <argN><cr><lf>
這里的是”\r”(或者是ASCII的13)、是”\n”(或者是ASCII的10)。
例如:命令SET key value協(xié)議格式如下:
*3<cr><lf> $3<cr><lf> SET<cr><lf> $3<cr><lf> key<cr><lf> $5<cr><lf> value<cr><lf>
或表示為引用字符串:
"*3\r\n$3\r\nSET\r\n$3\r\nkey\r\n$5\r\nvalue\r\n"
你需要將大量插入數(shù)據(jù)的命令按照上面的方式一個接一個的生成到文件。
1.2 pipe mode的工作原理是什么?
dis-難點是保證recli在pipe mode模式下執(zhí)行和netcat一樣快的同時,如何能理解服務器發(fā)送的最后一個回復。
這是通過以下方式獲得:
redis-cli –pipe試著盡可能快的發(fā)送數(shù)據(jù)到服務器。
讀取數(shù)據(jù)的同時,解析它。
- 一旦沒有更多的數(shù)據(jù)輸入,它就會發(fā)送一個特殊的ECHO命令,后面跟著20個隨機的字符。我們相信可以通過匹配回復相同的20個字符是同一個命令的行為。
- 一旦這個特殊命令發(fā)出,收到的答復就開始匹配這20個字符,當匹配時,就可以成功退出了。
同時,在分析回復的時候,我們會采用計數(shù)器的方法計數(shù),以便在最后能夠告訴我們大量插入數(shù)據(jù)的數(shù)據(jù)量。
1.3 示例代碼操作
1.3.1 準備數(shù)據(jù)文件,格式是文本文件,名稱是:redis_commands.txt。
我在Windows環(huán)境下生成了一個txt文件,一條數(shù)據(jù)一行,代碼如下:
SET Key0 Value0
SET Key1 Value1
SET Key2 Value2
SET Key3 Value3
SET Key4 Value4
SET Key5 Value5
SET Key6 Value6
SET Key7 Value7
SET Key8 Value8
SET Key9 Value9
SET Key10 Value10
...
SET KeyN ValueN
public class getStringTest {
/**
* 格式化成輸入字符串
*/
private String getString(String... args) {
StringBuilder sb = new StringBuilder();
sb.append("*").append(args.length).append("\r\n");
for (String arg : args) {
sb.append("$").append(arg.length()).append("\r\n");
sb.append(arg).append("\r\n");
}
return sb.toString();
}
@Test
public void initFile2() {
Long startTime = System.currentTimeMillis();
String file = "d:\\d.txt";
BufferedWriter w = null;
StringBuilder sb = new StringBuilder();
try {
w = new BufferedWriter(new OutputStreamWriter(new FileOutputStream(file), "utf-8"));
for(int i=0 ;i < 10000000;i++){
//for (int i = 1; i <= 100; i++) {
if (i / 3 == 0) {
w.flush();
}
sb.setLength(0);
sb.append(this.getString("set", "u" + i, "name" + i));
//sb.append(this.getString("hmset", "usr" + i, "userid", "usr" + i, "username", "usrname" + i));
w.append(sb.toString());
}
} catch (UnsupportedEncodingException e) {
e.printStackTrace();
} catch (Exception e) {
e.printStackTrace();
} finally {
try {
w.flush();
w.close();
} catch (IOException e) {
e.printStackTrace();
}
}
long endTime = System.currentTimeMillis();
System.out.println("耗時: "+(endTime - startTime)/1000+" s。");
}
}
我生成了1000萬的數(shù)據(jù),因為這個文本文件我是在Windows環(huán)境下生成的,所以需要格式轉(zhuǎn)換。
1.3.2 如果使用Windows環(huán)境下生成的文件,需要進行格式轉(zhuǎn)換,如果是在Linux環(huán)境下生成的文件就不需要格式轉(zhuǎn)換,如果文本文件比較大,執(zhí)行轉(zhuǎn)換時間會有幾秒,等待即可。
執(zhí)行格式轉(zhuǎn)換
[root@linux ~]# unix2dos redis_commands.txt unix2dos:converting file redis_commands.txt to DOS format ...
以上代碼進行格式轉(zhuǎn)換完畢
需要說明一點,unix2dos這個命令需要先安裝,如果沒有安裝,會提示:command not found。
執(zhí)行以下命令安裝:
[root@linux ~]# yum install unix2dos
1.3.3 進行數(shù)據(jù)批量插入
[root@linux ~]# cat d.txt | redis-cli -h 134.177.11.22 -p 6379 [-a "password"] -n 0 --pipe All data transferred.Waiting for the last reply... Last reply received from server. errors:0,replies:10000000
方案二:采用Jedis的父類中的pipelined()方法獲取管道
我們可以采用Jedis的父類中的pipelined()方法獲取管道,它可以實現(xiàn)一次性發(fā)送多條命令并一次性返回結(jié)果,這樣就大量的減少了客戶端與Redis的通信次數(shù),可以有效的提高程序效率(但是,因為Redis要一次性返回所有結(jié)果,它會把這些結(jié)果都緩存起來,因此命令越多,緩存消耗的內(nèi)存也會越大,具體還要視情況而定).此外Pipeline的原理是隊列(先進先出),這樣也保證了數(shù)據(jù)的順序性。
public static void main(String[] args) throws Exception {
Jedis jedis = new Jedis("127.0.0.1", 6474);
Pipeline p = jedis.pipelined();
p.setex("key_a", 120, "11111");
p.setex("key_b", 120, "2222");
p.sync();
if (jedis != null && jedis.isConnected()) {
jedis.close();
}
}
方案三:使用RedisTemplate批量保存數(shù)據(jù)
public void saveDataToRedis(Map<String, String> map) {
redisTemplate.executePipelined(new RedisCallback<String>() {
@Override
public String doInRedis(RedisConnection connection) throws DataAccessException {
map.forEach((key, value) -> connection.set(redisTemplate.getKeySerializer().serialize(key), redisTemplate.getValueSerializer().serialize(value)));
return null;
}
});
}
總結(jié)
以上為個人經(jīng)驗,希望能給大家一個參考,也希望大家多多支持腳本之家。
相關文章
一文搞懂阿里云服務器部署Redis并整合Spring?Boot
這篇文章主要介紹了一文搞懂阿里云服務器部署Redis并整合Spring?Boot,文章圍繞主題展開詳細的內(nèi)容介紹,具有一定的參考價值,需要的小伙伴可以參考一下2022-09-09
關于使用IDEA的springboot框架往Redis里寫入數(shù)據(jù)亂碼問題
這篇文章主要介紹了用IDEA的springboot框架往Redis里寫入數(shù)據(jù)亂碼問題,本文給大家分享解決方法通過圖文示例相結(jié)合給大家介紹的非常詳細,對大家的學習或工作具有一定的參考借鑒價值,需要的朋友可以參考下2020-10-10
Redis常見數(shù)據(jù)類型List列表使用詳解
Redis的List是一種有序的字符串集合,支持兩端高效插入和刪除,適用于隊列和棧,這篇文章主要介紹了Redis常見數(shù)據(jù)類型List列表使用的相關資料,需要的朋友可以參考下2024-12-12
redis內(nèi)部數(shù)據(jù)結(jié)構(gòu)之SDS簡單動態(tài)字符串詳解
SDS是Redis中實現(xiàn)的一種數(shù)據(jù)結(jié)構(gòu),用來存儲字符串,最近學習中正好學習到了這里,所以下面這篇文章主要給大家介紹了redis內(nèi)部數(shù)據(jù)結(jié)構(gòu)之SDS簡單動態(tài)字符串的相關資料,文中通過示例代碼介紹的非常詳細,需要的朋友可以參考借鑒,下面來一起看看吧。2017-11-11

