詳解MySQL下InnoDB引擎中的Memcached插件

更新時(shí)間：2015年04月11日 11:48:01 投稿：goldensun

這篇文章主要介紹了詳解MySQL下InnoDB引擎中的Memcached插件,并且給出了實(shí)例演示,需要的朋友可以參考下

前些年，HandlerSocket的橫空出世讓人們眼前一亮，當(dāng)時(shí)我還寫了一篇文章介紹了其用法梗概，時(shí)至今日，由于種種原因，HandlerSocket并沒(méi)有真正流行起來(lái)，不過(guò)慶幸的是MySQL官方受其啟發(fā)，研發(fā)了基于InnoDB的Memcached插件，總算是在MySQL中延續(xù)了NoSQL的香火，以前單獨(dú)架設(shè)Memcached服務(wù)器不僅浪費(fèi)了內(nèi)存，而且還必須自己維護(hù)數(shù)據(jù)的不一致問(wèn)題，有了Memcached插件，這些問(wèn)題都不存在了，而且借助MySQL本身的復(fù)制功能，我們可以說(shuō)是變相的實(shí)現(xiàn)了Memcached的復(fù)制，這更是意外之喜。

安裝

為了讓文章更具完整性，我們選擇從源代碼安裝MySQL，需要注意的是早期的版本有內(nèi)存泄漏，所以推薦安裝最新的穩(wěn)定版，截至本文發(fā)稿時(shí)為止，最新的穩(wěn)定版是5.6.13，我們就以此為例來(lái)說(shuō)明，過(guò)程很簡(jiǎn)單，只要激活了WITH_INNODB_MEMCACHED即可：

shell> groupadd mysql
shell> useradd -r -g mysql mysql
shell> tar zxvf mysql-5.6.13.tar.gz
shell> cd mysql-5.6.13
shell> cmake . -DWITH_INNODB_MEMCACHED=ON
shell> make
shell> make install
shell> cd /usr/local/mysql
shell> chown -R mysql .
shell> chgrp -R mysql .
shell> scripts/mysql_install_db --user=mysql
shell> chown -R root .
shell> chown -R mysql data
shell> bin/mysqld_safe --user=mysql &
shell> cp support-files/mysql.server /etc/init.d/mysql.server

MySQL安裝完畢后，在插件目錄我們能看到innodb_engine.so和libmemcached.so：

mysql> SELECT @@plugin_dir;
+------------------------------+
| @@plugin_dir         |
+------------------------------+
| /usr/local/mysql/lib/plugin/ |
+------------------------------+

此外還需要導(dǎo)入Memcached插件所需要的表結(jié)構(gòu)：

mysql> SOURCE /usr/local/mysql/share/innodb_memcached_config.sql

一切就緒后就可以激活Memcached插件了（當(dāng)然如果需要的話也可以禁止）：

mysql> INSTALL PLUGIN daemon_memcached soname "libmemcached.so";
mysql> UNINSTALL PLUGIN daemon_memcached;

說(shuō)明：如果要重啟插件的話，可以先uninstall，再install。

Memcached插件相關(guān)的配置信息如下，具體介紹可以參考官方文檔：

mysql> SHOW VARIABLES LIKE '%memcached%';
+----------------------------------+------------------+
| Variable_name          | Value      |
+----------------------------------+------------------+
| daemon_memcached_enable_binlog  | OFF       |
| daemon_memcached_engine_lib_name | innodb_engine.so |
| daemon_memcached_engine_lib_path |         |
| daemon_memcached_option     |         |
| daemon_memcached_r_batch_size  | 1        |
| daemon_memcached_w_batch_size  | 1        |
+----------------------------------+------------------+

注意：daemon_memcached_r_batch_size和daemon_memcached_w_batch_size，這兩個(gè)選項(xiàng)對(duì)性能影響較大，簡(jiǎn)單點(diǎn)說(shuō)就是控制事務(wù)提交的頻率，MySQL的缺省值均為1，也就是說(shuō)每次都提交，這主要是從安全性考慮的，大家可以依照自己的情況來(lái)調(diào)整。

差不多了，此時(shí)Memcached端口應(yīng)該準(zhǔn)備就緒了，你可以試試看：

shell> echo "stats" | nc localhost 11211

換句話說(shuō)，MySQL已經(jīng)兼容Memcached協(xié)議，可以直接使用Memcached命令。
配置

在安裝步驟里，我們導(dǎo)入了一個(gè)名為innodb_memcached_config.sql的腳本，它創(chuàng)建了一庫(kù)（innodb_memcache）三表（cache_policies, config_options, containers）：

mysql> USE innodb_memcache
mysql> SHOW TABLES;
+---------------------------+
| Tables_in_innodb_memcache |
+---------------------------+
| cache_policies      |
| config_options      |
| containers        |
+---------------------------+

cache_policies定義了緩存策略，包含如下選擇：

    innodb_only：只使用InnoDB作為數(shù)據(jù)存儲(chǔ)。
    cache-only：只使用傳統(tǒng)的Memcached引擎作為后端存儲(chǔ)。
    caching：二者皆使用，如果在Memcached里找不到，就查詢InnoDB。

config_options定義了分隔符號(hào)：

separator：Memcached只識(shí)別單值，使用此分隔符（|）來(lái)連接多個(gè)字段的值。
table_map_delimiter：通過(guò)此分隔符（.）來(lái)確認(rèn)表和鍵，如：@@table.key。

如果我們想通過(guò)Memcached協(xié)議來(lái)訪問(wèn)一個(gè)表，需要先在containers中配置它：

mysql> SELECT * FROM containers\G
*************************** 1. row ***************************
         name: aaa
       db_schema: test
       db_table: demo_test
      key_columns: c1
     value_columns: c2
         flags: c3
      cas_column: c4
  expire_time_column: c5
unique_idx_name_on_key: PRIMARY

如上已經(jīng)有了test數(shù)據(jù)庫(kù)的demo_test表，通過(guò)c1查詢c2的值，表結(jié)構(gòu)如下所示：

mysql> DESC test.demo_test;
+-------+---------------------+------+-----+---------+-------+
| Field | Type        | Null | Key | Default | Extra |
+-------+---------------------+------+-----+---------+-------+
| c1  | varchar(32)     | NO  | PRI |     |    |
| c2  | varchar(1024)    | YES |   | NULL  |    |
| c3  | int(11)       | YES |   | NULL  |    |
| c4  | bigint(20) unsigned | YES |   | NULL  |    |
| c5  | int(11)       | YES |   | NULL  |    |
+-------+---------------------+------+-----+---------+-------+

缺省情況下有一行數(shù)據(jù)：

mysql> SELECT * FROM test.demo_test;
+----+--------------+------+------+------+
| c1 | c2      | c3  | c4  | c5  |
+----+--------------+------+------+------+
| AA | HELLO, HELLO |  8 |  0 |  0 |
+----+--------------+------+------+------+

讓我們用Memcached協(xié)議來(lái)訪問(wèn)看看：

shell> echo "get @@aaa.AA" | nc localhost 11211
VALUE @@aaa.AA 8 12
HELLO, HELLO
END

我們還可以先設(shè)定缺省訪問(wèn)的表，然后后續(xù)的查詢就只寫鍵名就可以了：

shell> (echo "get @@aaa"; echo "get AA") | nc localhost 11211
VALUE @@aaa 0 14
test/demo_test
END
VALUE AA 8 12
HELLO, HELLO
END

雖然我的例子都是通過(guò)命令行執(zhí)行的，但是大家很容易就更改寫成PHP之類的方法。
限制

Memcached插件用起來(lái)非常簡(jiǎn)單，不過(guò)并不是一切都很完美，比如說(shuō)：當(dāng)我們配置表的時(shí)候，containers表的字段，除了key_columns和value_columns以外，其它的字段，如：flags，cas_column，expire_time_column等也必須設(shè)定，可是很多時(shí)候，我們?cè)谠碇姓也坏劫N切的字段，此時(shí)就只能對(duì)應(yīng)新建三個(gè)字段，味道很惡心。

此外，containers表還有如下限制：

key_columns字段的類型必須是CHAR或VARCHAR，且最大長(zhǎng)度是250個(gè)字符。
value_columns字段的類型必須是CHAR或VARCHAR或BLOB，長(zhǎng)度不限。
cas_column字段的類型必須是BIGINT。
expiration_time_column字段的類型必須是INT。
flags字段的類型必須是INT。

說(shuō)明：隨著MySQL版本的更新，這些限制可能會(huì)發(fā)生變化，請(qǐng)大家以實(shí)際情況為準(zhǔn)。
實(shí)戰(zhàn)

讓我們以一個(gè)用戶登錄的例子來(lái)檢驗(yàn)一下學(xué)習(xí)成果：

首先在測(cè)試數(shù)據(jù)庫(kù)創(chuàng)建一個(gè)用戶表：

USE `test`
 
CREATE TABLE `users` (
  `id` INT(10) UNSIGNED NOT NULL AUTO_INCREMENT,
  `username` VARCHAR(15) NOT NULL,
  `password` VARCHAR(32) NOT NULL,
  `email` VARCHAR(50) NOT NULL,
  `flags` INT(10) UNSIGNED DEFAULT '0',
  `cas_column` BIGINT(20) UNSIGNED DEFAULT '0',
  `expire_time_column` INT(10) UNSIGNED DEFAULT '0',
  PRIMARY KEY (`id`),
  UNIQUE KEY `username` (`username`)
) ENGINE=InnoDB;

然后添加幾行測(cè)試數(shù)據(jù)：

INSERT INTO `users` (`username`, `password`, `email`)
VALUES
('foo', 'ffffffffffffffffffffffffffffffff', 'foo@domain.com'),
('bar', 'bbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbb', 'bar@domain.com');

接著在containers里配置這個(gè)表：

INSERT INTO innodb_memcache.containers (
  name, db_schema, db_table, key_columns, value_columns,
  flags, cas_column, expire_time_column, unique_idx_name_on_key
) VALUES (
  'default', 'test', 'users', 'username', 'password|email',
  'flags', 'cas_column', 'expire_time_column', 'username'
);

這里我們定義了多個(gè)字段（password和email）作為value_columns，并且使用豎線作為分隔符，實(shí)際上使用空格，逗號(hào)之類分隔符也可以，在innodb_config.c文件的源代碼中能查到如下關(guān)于分隔符的定義，文檔里并沒(méi)有涵蓋這些信息：

static const char* sep = " ;,|\n";

最后使用Memcached協(xié)議來(lái)訪問(wèn)一下，這里我們換個(gè)花樣，執(zhí)行一個(gè)MGET操作：

shell> echo "get foo bar" | nc localhost 11211
VALUE foo 0 47
ffffffffffffffffffffffffffffffff|foo@domain.com
VALUE bar 0 47
bbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbb|bar@domain.com
END

既然我定義value_columns的時(shí)候設(shè)置了多個(gè)字段，那么返回?cái)?shù)據(jù)的時(shí)候自然也返回多個(gè)字段的數(shù)據(jù)，并且它們依照innodb_memcache.config_options表中的separator字段來(lái)分隔，缺省情況下是一個(gè)豎線，如果你的字段內(nèi)容里包含了豎線，那么就會(huì)和缺省值發(fā)生沖突，此時(shí)你可以更新separator的定義，比如改成三個(gè)豎線等等，需要提醒的是，修改后別忘了重啟Memcached插件。

說(shuō)明：因?yàn)閭冊(cè)谂渲玫臅r(shí)候把表命名為default，所以在請(qǐng)求的時(shí)候不用傳遞表名。如果不存在default，那么會(huì)把名字按照字母順序正序排列，排在第一位的就是缺省。

…

本文在使用Memcached插件的時(shí)候，所有例子均使用的是讀操作，實(shí)際上寫操作也是支持的，不過(guò)在實(shí)際使用時(shí)，我更傾向于寫操作都通過(guò)SQL來(lái)執(zhí)行，而Memcached插件僅處理KV形式的讀操作，實(shí)際壓力測(cè)試的結(jié)果顯示，Memcached插件比SQL的方式，性能提升了百分之一百左右，雖然仍不及獨(dú)立的Memcached，但考慮到其它的優(yōu)勢(shì)，這個(gè)結(jié)果已經(jīng)很讓人欣喜了，下一站，InnoDB的Memcached插件！大家做好準(zhǔn)備吧。

您可能感興趣的文章: