手寫簡版kedis分布式key及value服務(wù)的實現(xiàn)及配置
前言
今天博主主要介紹兩個開源項目,然后創(chuàng)建應(yīng)用最終實現(xiàn)的效果就像簡版的redis服務(wù)那樣,通過http的get請求,能夠插入和獲取數(shù)據(jù),項目暫取名為kedis,源碼后面會上傳到git倉庫。他們分別是Facebook開源的Rocksdb和netty實現(xiàn)的http容器RestExpress。通過實現(xiàn)這樣的一個key/value系統(tǒng)實例來學習這兩個框架的使用。
rocksdb
RocksDB是一個帶key/value接口的存儲引擎,其中鍵和值是任意字節(jié)流。它是一個C ++庫。它是在Facebook基于google開源的LevelDB(https://github.com/google/LevelDB)開發(fā)的,并為LevelDB API提供向后兼容的支持。
RocksDB支持各種存儲硬件,最初的重點是快速閃存。它使用日志結(jié)構(gòu)化數(shù)據(jù)庫引擎進行存儲,完全用C ++編寫,并有一個名為RocksJava的Java包裝器。請參閱RocksJava基礎(chǔ)知識。
RocksDB可以適應(yīng)各種生產(chǎn)環(huán)境,包括純內(nèi)存,閃存,硬盤或遠程存儲。在RocksDB無法自動適應(yīng)的情況下,提供了高度靈活的配置設(shè)置,以允許用戶為其進行調(diào)整。它支持各種壓縮算法和生產(chǎn)支持和調(diào)試的好工具。
特征
- 專為希望在本地或遠程存儲系統(tǒng)上存儲多達數(shù)TB數(shù)據(jù)的應(yīng)用程序服務(wù)器而設(shè)計。
- 優(yōu)化用于在快速存儲 - 閃存設(shè)備或內(nèi)存中存儲中小尺寸鍵值
- 它適用于具有多個內(nèi)核的處理器
RocksDB就是這樣的一個key/value存儲引擎,facebook基于RocksDB這個項目寫了MyRocks,一個使用RocksDB實現(xiàn)的msyql數(shù)據(jù)庫引擎。通過RocksDB的壓縮技術(shù)相比InnoDB能夠節(jié)省很大的存儲空間。newsql數(shù)據(jù)庫tidb組件tikv也使用了RocksDB作為底層數(shù)據(jù)存儲。
RestExpress
RESTExpress是一個非常高效的小型http容器,可以在Java中創(chuàng)建性能非常高,可擴展的RESTful服務(wù)。使用牛逼的Netty框架編寫,RESTExpress使用非阻塞I / O來處理請求,同時利用Executor來服務(wù)后端邏輯服務(wù)(可能是阻塞)操作。

實現(xiàn)kedis
創(chuàng)建服務(wù)并綁定端口
/**
* @author: kl @kailing.pub
* @date: 2019/4/12
*/ public class Main { public static void main(String[] args) {
Configs configs = new Configs();
configs.fromArgs(args);
RestExpress server = new RestExpress()
.setName("kedis-server")
.setBaseUrl("http://localhost:" +configs.getPort());
KedisCore core =new KedisCore(configs.getDbPath());
Routes.define(server,core);
server.bind(configs.getPort());
server.awaitShutdown();
}
}創(chuàng)建RocksDB引擎api操作類
/**
* @author: kl @kailing.pub
* @date: 2019/4/12
*/ public class KedisCore { private RocksDB db; public KedisCore(String path) {
RocksDB.loadLibrary(); try { final Options options = new Options().setCreateIfMissing(true); this.db = RocksDB.open(options, path);
} catch (RocksDBException ex) {
ex.printStackTrace();
}
} public String put(Request request, Response response) throws Exception {
Map<String, String> map = request.getQueryStringMap();
String key = map.get("key");
String value = map.get("value");
db.put(key.getBytes(), value.getBytes()); return "ok";
} public String get(Request request, Response response) throws Exception {
Map<String, String> map = request.getQueryStringMap();
String key = map.get("key"); byte[] values = db.get(key.getBytes()); if(values != null){ return new String(values,"utf-8");
}else { return null;
}
}
}設(shè)置請求路由
/**
* @author: kl @kailing.pub
* @date: 2019/4/12
*/ public abstract class Routes { public static void define(RestExpress server,KedisCore core){
server.uri("/put", core).action("put", HttpMethod.GET).noSerialization();
server.uri("/get", core).action("get", HttpMethod.GET).noSerialization();
}
}mvn install打包后,進入target目錄會有kedis-1.0.jar。CMD下分別執(zhí)行如下腳本啟動驗證
啟動
java -jar kedis-1.0.jar --port 8081
插入數(shù)據(jù)
curl http://localhost:8081/put?key=name&value=ckl
獲取數(shù)據(jù)
curl http://localhost:8081/get?key=name
文末結(jié)語
RocksDB和RestExpress這兩個項目都很有特點,RocksDB作為嵌入式的微存儲引擎java包裝器的大小僅有10M左右,主要是C++編譯后的dll和so文件,其本身功能非常強大,強大到可以作為mysql的底層存儲引擎,對底層存儲做了很多的優(yōu)化,可以見wiki。RestExpress雖很輕量但五臟俱全,非常適合一些小工具暴露http的服務(wù)。
以上就是手寫簡版key及value服務(wù)kedis的詳細內(nèi)容,更多關(guān)于手寫key及value服務(wù)kedis的資料請關(guān)注腳本之家其它相關(guān)文章!
相關(guān)文章
java實現(xiàn)給圖片加鋪滿的網(wǎng)格式文字水印
這篇文章主要給大家介紹了關(guān)于java實現(xiàn)給圖片加鋪滿的網(wǎng)格式文字水印的相關(guān)資料,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友們下面隨著小編來一起學習學習吧2021-01-01

