在PostgreSQL的基礎(chǔ)上創(chuàng)建一個MongoDB的副本的教程
我有一個偷懶的想法。這個好點子該如何開始呢?好吧,這是一個恰如其分的小瘋狂:為什么不直接在Postgres的基礎(chǔ)上建立我們自己的MongoDB版本呢?這聽起來有點牽強附會,但卻簡單而實在。
當NoSQL運動風(fēng)生水起的時候,Postgres社區(qū)沒有干坐著擺弄他們的大拇指。他們持續(xù)開發(fā),貫穿整個Postgres的生態(tài)系統(tǒng),幾個突出的功能吸引了我的眼球:整合JSON支持和PLV8。PLV8把V8 Javascript引擎引入到Postgres,他讓Javascript成為一個第一類別的語言(first-class language)。擁有JSON類型讓它能更容易地處理JSON(這很有效)。
開始前需要做的準備:
- Postgres 9.2+ (as of this blog entry, 9.2 is in beta) - http://www.postgresql.org/ftp/source/
- V8 - https://github.com/v8/v8
- PLV8 - http://code.google.com/p/plv8js/wiki/PLV8
MongoDB的最低級別是集合. 集合可以用表來表示:
CREATE TABLE some_collection ( some_collection_id SERIAL NOT NULL PRIMARY KEY, data JSON );
字符型的JSON 被保存在 Postgres 表里,簡單易行 (現(xiàn)在看是這樣).
下面實現(xiàn)自動創(chuàng)建集合. 保存在集合表里:
CREATE TABLE collection ( collection_id SERIAL NOT NULL PRIMARY KEY, name VARCHAR ); -- make sure the name is unique CREATE UNIQUE INDEX idx_collection_constraint ON collection (name);
一旦表建好了,就可以通過存儲過程自動創(chuàng)建集合. 方法就是先建表,然后插入建表序列.
CREATE OR REPLACE FUNCTION create_collection(collection varchar) RETURNS
boolean AS $$
var plan1 = plv8.prepare('INSERT INTO collection (name) VALUES ($1)', [ 'varchar' ]);
var plan2 = plv8.prepare('CREATE TABLE col_' + collection +
' (col_' + collection + '_id INT NOT NULL PRIMARY KEY, data JSON)');
var plan3 = plv8.prepare('CREATE SEQUENCE seq_col_' + collection);
var ret;
try {
plv8.subtransaction(function () {
plan1.execute([ collection ]);
plan2.execute([ ]);
plan3.execute([ ]);
ret = true;
});
} catch (err) {
ret = false;
}
plan1.free();
plan2.free();
plan3.free();
return ret;
$$ LANGUAGE plv8 IMMUTABLE STRICT;
有了存儲過程,就方便多了:
SELECT create_collection('my_collection');
解決了集合存儲的問題,下面看看MongoDB數(shù)據(jù)解析. MongoDB 通過點式注解方法操作完成這一動作:
CREATE OR REPLACE FUNCTION find_in_obj(data json, key varchar) RETURNS
VARCHAR AS $$
var obj = JSON.parse(data);
var parts = key.split('.');
var part = parts.shift();
while (part && (obj = obj[part]) !== undefined) {
part = parts.shift();
}
// this will either be the value, or undefined
return obj;
$$ LANGUAGE plv8 STRICT;
上述功能返回VARCHAR,并不適用所有情形,但對于字符串的比較很有用:
SELECT data FROM col_my_collection WHERE find_in_obj(data, 'some.element') = 'something cool'
除了字符串的比較, MongoDB還提供了數(shù)字類型的比較并提供關(guān)鍵字exists . 下面是find_in_obj() 方法的不同實現(xiàn):
CREATE OR REPLACE FUNCTION find_in_obj_int(data json, key varchar) RETURNS
INT AS $$
var obj = JSON.parse(data);
var parts = key.split('.');
var part = parts.shift();
while (part && (obj = obj[part]) !== undefined) {
part = parts.shift();
}
return Number(obj);
$$ LANGUAGE plv8 STRICT;
CREATE OR REPLACE FUNCTION find_in_obj_exists(data json, key varchar) RETURNS
BOOLEAN AS $$
var obj = JSON.parse(data);
var parts = key.split('.');
var part = parts.shift();
while (part && (obj = obj[part]) !== undefined) {
part = parts.shift();
}
return (obj === undefined ? 'f' : 't');
$$ LANGUAGE plv8 STRICT;
接下來是數(shù)據(jù)查詢. 通過現(xiàn)有的材料來實現(xiàn) find() 方法.
保存數(shù)據(jù)到集合中很簡單。首先,我們需要檢查JSON對象并尋找一個_id值。這部分代碼是原生的假設(shè),如果_id已存在這意味著一個更新,否則就意味著一個插入。請注意,我們目前還沒有創(chuàng)建objectID,只使用了一個序列待其發(fā)生:
CREATE OR REPLACE FUNCTION save(collection varchar, data json) RETURNS
BOOLEAN AS $$
var obj = JSON.parse(data);
var id = obj._id;
// if there is no id, naively assume an insert
if (id === undefined) {
// get the next value from the sequence for the ID
var seq = plv8.prepare("SELECT nextval('seq_col_" +
collection + "') AS id");
var rows = seq.execute([ ]);
id = rows[0].id;
obj._id = id;
seq.free();
var insert = plv8.prepare("INSERT INTO col_" + collection +
" (col_" + collection + "_id, data) VALUES ($1, $2)",
[ 'int', 'json']);
insert.execute([ id, JSON.stringify(obj) ]);
insert.free();
} else {
var update = plv8.prepare("UPDATE col_" + collection +
" SET data = $1 WHERE col_" + collection + "_id = $2",
[ 'json', 'int' ]);
update.execute([ data, id ]);
}
return true;
$$ LANGUAGE plv8 IMMUTABLE STRICT;
基于這個觀點,我們可以構(gòu)建一些插入的簡單文檔:
{
"name": "Jane Doe",
"address": {
"street": "123 Fake Street",
"city": "Portland",
"state": "OR"
},
"age": 33
}
{
"name": "Sarah Smith",
"address": {
"street": "456 Real Ave",
"city": "Seattle",
"state": "WA"
}
}
{
"name": "James Jones",
"address": {
"street": "789 Infinity Way",
"city": "Oakland",
"state": "CA"
},
"age": 23
}
讓我們創(chuàng)建一個集合并插入一些數(shù)據(jù):
work=# SELECT create_collection('data');
create_collection
-------------------
t
(1 row)
work=# SELECT save('data', '{ our object }');
save
------
t
(1 row)
你可以通過檢查“col_data”表的內(nèi)容來查看對象。
其它翻譯版本(1)
現(xiàn)在我們已經(jīng)有了一些數(shù)據(jù),讓我們再查詢一下。假設(shè)我們想查找住在俄勒岡或華盛頓州年齡大于30的所有人,使用一個MongoDB風(fēng)格的find():
{
"$or": [
{
"address.state": "OR"
},
{
"address.state": "WA"
}
],
"age": {
"$gt": 30
}
}
因為上次我們已經(jīng)創(chuàng)建了一些深度的包檢測,現(xiàn)在就很容易創(chuàng)建查詢并返回Jane Doe:
SELECT data
FROM col_data
WHERE find_in_obj_int(data, 'age') > 30
AND (
find_in_obj(data, 'address.state') = 'OR'
OR
find_in_obj(data, 'address.state') = 'WA'
)
我采用了寫一個遞歸調(diào)用函數(shù)來建立WHERE子句的方法。它有點長,所以我沒有把它貼在這里而是放在GitHub上。一旦find()存儲過程被創(chuàng)建,我們就可以在查詢中使用它。我們應(yīng)該能夠看到Jane Doe被返回:
work=# SELECT find('data', '{ "$or": [ { "address.state": "OR" }, { "address.state": "WA" } ], "age": { "$gt": 30 } }');
這樣奏效:它不優(yōu)雅,但它奏效。這是一個概念的證明,而且?guī)缀鯖]有像它一樣好的可能。我之前曾被問過為什么不使用HSTORE。雖然你可以存儲嵌套的HSTORE和數(shù)組值,但它仍不是JSON,并且不容易通過PLV8操作。這將需要一個從HSTORE到JSON的序列器,這個序列器在任何時間將請求的返回序列化成MongoDB接受的數(shù)據(jù)形式,但依舊太容易在JavaScript中處理。這是次優(yōu)選擇,畢竟我們是要在Postgres的基礎(chǔ)上創(chuàng)建一個MongoDB的副本。
源碼可以在GitHub上找到:fork并嘗試一下吧,記得回饋哦。
相關(guān)文章
站內(nèi)群發(fā)消息三種不同用戶量的數(shù)據(jù)庫設(shè)計
很多SNS網(wǎng)站和一部分CMS網(wǎng)站都廣泛地應(yīng)用了站內(nèi)信這一模塊,這個看似簡單的東西其實背后隱藏著很多需要設(shè)計師重視的設(shè)計細節(jié),要做好這個“郵遞員”是很不容易的,本文講述站內(nèi)群發(fā)消息三種不同用戶量的數(shù)據(jù)庫設(shè)計,逐漸設(shè)計一個百萬級用戶量的站內(nèi)信群發(fā)數(shù)據(jù)庫2023-12-12
Beekeeper?Studio開源數(shù)據(jù)庫管理工具比Navicat更炫酷
這篇文章主要為大家介紹了一款界面更炫酷的開源數(shù)據(jù)庫管理工具Beekeeper?Studio比Navicat更好用,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進步,早日升職加薪2022-06-06
使用Navicat連接opengauss數(shù)據(jù)庫完整步驟(詳細圖文)
Navicat是一套快速、可靠并價格相當便宜的數(shù)據(jù)庫管理工具,專為簡化數(shù)據(jù)庫的管理及降低系統(tǒng)管理成本而設(shè),下面這篇文章主要給大家介紹了關(guān)于使用Navicat連接opengauss數(shù)據(jù)庫的完整步驟,需要的朋友可以參考下2024-02-02
SQL注入篇學(xué)習(xí)之盲注/寬字節(jié)注入
盲注是注入的一種,指的是在不知道數(shù)據(jù)庫返回值的情況下對數(shù)據(jù)中的內(nèi)容進行猜測,實施SQL注入,下面這篇文章主要給大家介紹了關(guān)于SQL注入篇之盲注/寬字節(jié)注入的相關(guān)資料,需要的朋友可以參考下2022-03-03
遠程數(shù)據(jù)庫的表超過20個索引的影響詳細解析
這篇文章主要介紹了遠程數(shù)據(jù)庫的表超過20個索引的影響詳細解析,具有一定參考價值,需要的朋友可以了解下。2017-10-10
最新統(tǒng)計排名前十的SQL和NoSQL數(shù)據(jù)庫排行榜
這篇文章主要介紹了最新統(tǒng)計排名前十的SQL和NoSQL數(shù)據(jù)庫排行榜,本文包括Oracle、MySQL、Microsoft SQL Server、PostgreSQL、MongoDB等數(shù)據(jù)庫,需要的朋友可以參考下2014-09-09

