基于HBase Thrift接口的一些使用問題及相關(guān)注意事項(xiàng)的詳解
更新時(shí)間:2013年06月03日 11:05:09 作者:
本篇文章是對(duì)HBase Thrift接口的一些使用問題及相關(guān)注意事項(xiàng)進(jìn)行了詳細(xì)的分析介紹,需要的朋友參考下
HBase對(duì)于非Java語言提供了Thrift接口支持,這里結(jié)合對(duì)HBase Thrift接口(HBase版本為0.92.1)的使用經(jīng)驗(yàn),總結(jié)其中遇到的一些問題及其相關(guān)注意事項(xiàng)。
1. 字節(jié)的存放順序
HBase中,由于row(row key和column family、column qualifier、time stamp)是按照字典序進(jìn)行排序的,因此,對(duì)于short、int、long等類型的數(shù)據(jù),通過Bytes.toBytes(…)轉(zhuǎn)換成byte數(shù)組后,必須按照大端模式(高字節(jié)在低地址,低字節(jié)在高地址)存放。對(duì)于value,也是同樣的道理。因此,在使用Thrift API(C++、Php、Python等)方式時(shí),最好對(duì)于row和value都統(tǒng)一按照大端進(jìn)行pack和unpack處理。
舉個(gè)例子,C++中,對(duì)于int型變量,經(jīng)過以下方式轉(zhuǎn)換為字典序:
string key;
int32_t timestamp = 1352563200;
const char* pTs =(const char*) ×tamp;
size_t n = sizeof(int32_t);
key.append(pTs, n);
通過以下方式將字典序轉(zhuǎn)換為int:
const char * ts = key.c_str();
int32_t timestamp = *((int32_t*)(ts));
Php中則提供了pack和unpack方法進(jìn)行轉(zhuǎn)換:
$key = pack("N", $num);
$num = unpack("N", $key);
2. TScan的使用陷阱
HBase的PHP Thrift接口中,TScan可以直接通過設(shè)置startRow、stopRow、columns、filter等屬性,默認(rèn)這些屬性均為null,設(shè)置后變?yōu)榉莕ull(通過TScan的構(gòu)造函數(shù)或直接對(duì)TScan的成員變量進(jìn)行賦值)。通過write()方法和Thrift Server進(jìn)行RPC操作時(shí),直接判斷的依據(jù)是這些屬性不為null,則通過Thrift協(xié)議傳輸?shù)絋hrift Server端。
但是在C++的Thrift接口中,TScan中有一個(gè)_TScan__isset __isset類型的變量,其內(nèi)部結(jié)構(gòu)如下:
typedef struct _TScan__isset {
_TScan__isset() : startRow(false), stopRow(false), timestamp(false), columns(false), caching(false), filterString(false) {}
bool startRow;
bool stopRow;
bool timestamp;
bool columns;
bool caching;
bool filterString;
} _TScan__isset;
TScan的write()方法則是通過判斷_TScan__isset下的各個(gè)bool變量標(biāo)記是否設(shè)置了startRow、stopRow、columns、filter等屬性,決定是否將這些屬性通過Thrift協(xié)議傳輸?shù)絋hrift Server端,而這些屬性必須通過__set_xxx()方法進(jìn)行設(shè)置才能生效!在TScan的默認(rèn)構(gòu)造函數(shù)中,并不會(huì)對(duì)這些屬性對(duì)應(yīng)的__isset標(biāo)記設(shè)置為true!
因此,如果直接通過TScan的構(gòu)造函數(shù)初始化startRow、stopRow、columns、filter等屬性會(huì)導(dǎo)致從頭遍歷該表,只有調(diào)用了__set_xxx()方法才會(huì)將對(duì)應(yīng)的bool標(biāo)識(shí)設(shè)置為true,這樣服務(wù)端才會(huì)從Thrift Server獲取startRow、stopRow、columns、filter等屬性進(jìn)行掃描。
3. 并發(fā)訪問線程數(shù)
首先,為了盡可能減少由于網(wǎng)絡(luò)傳輸帶來的時(shí)間開銷,HBase的Thrift Server最好和應(yīng)用客戶端部署在同一臺(tái)機(jī)器上。Thrift Server啟動(dòng)時(shí)可以通過參數(shù)配置并發(fā)線程數(shù),否則很容易導(dǎo)致Thrift Server線程滿了不響應(yīng)客戶端的讀寫請(qǐng)求,具體命令:bin/hbase-daemon.sh start thrift --threadpool -m 200 -w 500(更多參數(shù)參考這里:bin/hbase-daemon.sh start thrift -h)。
4. 最大堆內(nèi)存配置
如果客戶端與Thrift Server進(jìn)行scan操作順序讀取數(shù)據(jù),而且設(shè)置了一定的cache記錄條數(shù)(通過TScan的int32_t caching變量設(shè)置),那么這些被caching的記錄數(shù)可能會(huì)占用Thrift Server相當(dāng)部分的堆內(nèi)存,尤其在多客戶端并發(fā)訪問時(shí)更明顯。
因此,在Thrift Server啟動(dòng)前,可以調(diào)大最大堆內(nèi)存,否則可能由于java.lang.OutOfMemoryError異常而導(dǎo)致進(jìn)程被殺掉,尤其是當(dāng)Scan時(shí)設(shè)置了較大的caching記錄條數(shù)的情況(默認(rèn)為export HBASE_HEAPSIZE=1000MB,可以在conf/hbase-env.sh中設(shè)置)。
1. 字節(jié)的存放順序
HBase中,由于row(row key和column family、column qualifier、time stamp)是按照字典序進(jìn)行排序的,因此,對(duì)于short、int、long等類型的數(shù)據(jù),通過Bytes.toBytes(…)轉(zhuǎn)換成byte數(shù)組后,必須按照大端模式(高字節(jié)在低地址,低字節(jié)在高地址)存放。對(duì)于value,也是同樣的道理。因此,在使用Thrift API(C++、Php、Python等)方式時(shí),最好對(duì)于row和value都統(tǒng)一按照大端進(jìn)行pack和unpack處理。
舉個(gè)例子,C++中,對(duì)于int型變量,經(jīng)過以下方式轉(zhuǎn)換為字典序:
復(fù)制代碼 代碼如下:
string key;
int32_t timestamp = 1352563200;
const char* pTs =(const char*) ×tamp;
size_t n = sizeof(int32_t);
key.append(pTs, n);
通過以下方式將字典序轉(zhuǎn)換為int:
復(fù)制代碼 代碼如下:
const char * ts = key.c_str();
int32_t timestamp = *((int32_t*)(ts));
Php中則提供了pack和unpack方法進(jìn)行轉(zhuǎn)換:
復(fù)制代碼 代碼如下:
$key = pack("N", $num);
$num = unpack("N", $key);
2. TScan的使用陷阱
HBase的PHP Thrift接口中,TScan可以直接通過設(shè)置startRow、stopRow、columns、filter等屬性,默認(rèn)這些屬性均為null,設(shè)置后變?yōu)榉莕ull(通過TScan的構(gòu)造函數(shù)或直接對(duì)TScan的成員變量進(jìn)行賦值)。通過write()方法和Thrift Server進(jìn)行RPC操作時(shí),直接判斷的依據(jù)是這些屬性不為null,則通過Thrift協(xié)議傳輸?shù)絋hrift Server端。
但是在C++的Thrift接口中,TScan中有一個(gè)_TScan__isset __isset類型的變量,其內(nèi)部結(jié)構(gòu)如下:
復(fù)制代碼 代碼如下:
typedef struct _TScan__isset {
_TScan__isset() : startRow(false), stopRow(false), timestamp(false), columns(false), caching(false), filterString(false) {}
bool startRow;
bool stopRow;
bool timestamp;
bool columns;
bool caching;
bool filterString;
} _TScan__isset;
TScan的write()方法則是通過判斷_TScan__isset下的各個(gè)bool變量標(biāo)記是否設(shè)置了startRow、stopRow、columns、filter等屬性,決定是否將這些屬性通過Thrift協(xié)議傳輸?shù)絋hrift Server端,而這些屬性必須通過__set_xxx()方法進(jìn)行設(shè)置才能生效!在TScan的默認(rèn)構(gòu)造函數(shù)中,并不會(huì)對(duì)這些屬性對(duì)應(yīng)的__isset標(biāo)記設(shè)置為true!
因此,如果直接通過TScan的構(gòu)造函數(shù)初始化startRow、stopRow、columns、filter等屬性會(huì)導(dǎo)致從頭遍歷該表,只有調(diào)用了__set_xxx()方法才會(huì)將對(duì)應(yīng)的bool標(biāo)識(shí)設(shè)置為true,這樣服務(wù)端才會(huì)從Thrift Server獲取startRow、stopRow、columns、filter等屬性進(jìn)行掃描。
3. 并發(fā)訪問線程數(shù)
首先,為了盡可能減少由于網(wǎng)絡(luò)傳輸帶來的時(shí)間開銷,HBase的Thrift Server最好和應(yīng)用客戶端部署在同一臺(tái)機(jī)器上。Thrift Server啟動(dòng)時(shí)可以通過參數(shù)配置并發(fā)線程數(shù),否則很容易導(dǎo)致Thrift Server線程滿了不響應(yīng)客戶端的讀寫請(qǐng)求,具體命令:bin/hbase-daemon.sh start thrift --threadpool -m 200 -w 500(更多參數(shù)參考這里:bin/hbase-daemon.sh start thrift -h)。
4. 最大堆內(nèi)存配置
如果客戶端與Thrift Server進(jìn)行scan操作順序讀取數(shù)據(jù),而且設(shè)置了一定的cache記錄條數(shù)(通過TScan的int32_t caching變量設(shè)置),那么這些被caching的記錄數(shù)可能會(huì)占用Thrift Server相當(dāng)部分的堆內(nèi)存,尤其在多客戶端并發(fā)訪問時(shí)更明顯。
因此,在Thrift Server啟動(dòng)前,可以調(diào)大最大堆內(nèi)存,否則可能由于java.lang.OutOfMemoryError異常而導(dǎo)致進(jìn)程被殺掉,尤其是當(dāng)Scan時(shí)設(shè)置了較大的caching記錄條數(shù)的情況(默認(rèn)為export HBASE_HEAPSIZE=1000MB,可以在conf/hbase-env.sh中設(shè)置)。
相關(guān)文章
PHP實(shí)現(xiàn)蛇形矩陣,回環(huán)矩陣及數(shù)字螺旋矩陣的方法分析
這篇文章主要介紹了PHP實(shí)現(xiàn)蛇形矩陣,回環(huán)矩陣及數(shù)字螺旋矩陣的方法,結(jié)合具體實(shí)例形式分析了蛇形矩陣,回環(huán)矩陣及數(shù)字螺旋矩陣的概念、表示方法及php實(shí)現(xiàn)技巧,需要的朋友可以參考下2017-05-05
解析在PHP中使用mysqli擴(kuò)展庫(kù)對(duì)mysql的操作
本篇文章是對(duì)在PHP中使用mysqli擴(kuò)展庫(kù)對(duì)mysql的操作進(jìn)行了詳細(xì)的分析介紹,需要的朋友參考下2013-07-07
php數(shù)組函數(shù)序列之krsort()- 對(duì)數(shù)組的元素鍵名進(jìn)行降序排序,保持索引關(guān)系
krsort() 函數(shù)將數(shù)組按照鍵逆向排序,為數(shù)組值保留原來的鍵。可選的第二個(gè)參數(shù)包含附加的排序標(biāo)志2011-11-11
PHP多維數(shù)組轉(zhuǎn)一維數(shù)組的簡(jiǎn)單實(shí)現(xiàn)方法
這篇文章主要介紹了PHP多維數(shù)組轉(zhuǎn)一維數(shù)組的簡(jiǎn)單實(shí)現(xiàn)方法,涉及PHP遞歸操作技巧,簡(jiǎn)單實(shí)用,需要的朋友可以參考下2015-12-12
php 用sock技術(shù)發(fā)送郵件的函數(shù)
php 用sock技術(shù)發(fā)送郵件的函數(shù)...2007-07-07
php安全配置記錄和常見錯(cuò)誤梳理(總結(jié))
下面小編就為大家?guī)硪黄猵hp安全配置記錄和常見錯(cuò)誤梳理(總結(jié))。小編覺得挺不錯(cuò)的,現(xiàn)在就分享給大家,也給大家做個(gè)參考。一起跟隨小編過來看看吧2017-03-03
php數(shù)據(jù)庫(kù)中將base64圖片數(shù)據(jù)轉(zhuǎn)化為可訪問src的方法詳解
后端同學(xué)在對(duì)一些老項(xiàng)目進(jìn)行二次開發(fā)時(shí)候,可能會(huì)遇到一些小的圖片以base64的方式存儲(chǔ)在數(shù)據(jù)庫(kù)中的情況,這樣做的好處是這些圖片數(shù)據(jù)一般不會(huì)因?yàn)轫?xiàng)目重新部署而丟失,但是這么做也會(huì)存在一些壞處,本文給大家介紹了php數(shù)據(jù)庫(kù)中base64圖片數(shù)據(jù)轉(zhuǎn)化可訪問的src的方法2023-10-10

