數(shù)據(jù)庫表分割技術淺析(水平分割/垂直分割/庫表散列)
更新時間:2013年01月25日 15:50:13 作者:
數(shù)據(jù)庫表分割技術包含以下內(nèi)容:水平分割/垂直分割/庫表散列.接下來將對以上分割進行詳細介紹,感興趣的朋友可以了解下,對你日后維護數(shù)據(jù)庫是很有幫助的
一.水平分割
什么是水平分割?打個比較形象的比喻,在食堂吃飯的時候,只有一個窗口,排隊打飯的隊伍太長了,都排成S型了,這時容易讓排隊的人產(chǎn)生焦慮情緒,容易產(chǎn)生混亂,這時一個管理者站出來,增加多個打飯窗口,把那條長長的隊伍攔腰截斷成幾隊。更形象一點的理解,你拿一把“手術刀”,把一個大表猛的切了幾刀,結果這個大表,變成了幾個小表.
水平分割根據(jù)某些條件將數(shù)據(jù)放到兩個或多個獨立的表中。即按記錄進分分割,不同的記錄可以分開保存,每個子表的列數(shù)相同。水平切割將表分為多個表。每個表包含的列數(shù)相同,但是數(shù)據(jù)行更少。例如,可以將一個包含十億行的表水平分區(qū)成 12 個表,每個小表表示特定年份內(nèi)一個月的數(shù)據(jù)。任何需要特定月份數(shù)據(jù)的查詢只需引用相應月份的表。
通常用來水平分割表的條件有:日期時間維度、地區(qū)維度等,當然還有更多的業(yè)務維度。下面我舉幾個例子來解說一下
案例1:某個公司銷售記錄數(shù)據(jù)量太大了,我們可以對它按月進行水平分割,每個月的銷售記錄單獨成一張表。
案例2:某個集團在各個地區(qū)都有分公司,該集團的訂單數(shù)據(jù)表太大了,我們可以按分公司所在的地區(qū)進行水平切割。
案例3:某電信公司的話單按日期、地市水平切割后,發(fā)現(xiàn)數(shù)據(jù)量太大,然后他們又按品牌、號碼段進行水平切割
水平分割通常在下面的情況下使用:
(1)表數(shù)據(jù)量很大,分割后可以降低在查詢時需要讀的數(shù)據(jù)和索引的頁數(shù),同時也降低了索引的層數(shù),加快了查詢速度。
?。?)表中的數(shù)據(jù)本來就有獨立性,例如表中分別記錄各個地區(qū)的數(shù)據(jù)或不同時期的數(shù)據(jù),特別是有些數(shù)據(jù)常用,而另外一些數(shù)據(jù)不常用。
?。?)需要把數(shù)據(jù)存放到多個介質(zhì)上。
?。?)需要把歷史數(shù)據(jù)和當前的數(shù)據(jù)拆分開。
優(yōu)點:
1:降低在查詢時需要讀的數(shù)據(jù)和索引的頁數(shù),同時也降低了索引的層數(shù),加快了查詢速度。
缺點:
1:水平分割會給應用增加復雜度,它通常在查詢時需要多個表名,查詢所有數(shù)據(jù)需要union操作。在許多數(shù)據(jù)庫應用中,這種復雜性會超過它帶來的優(yōu)點,因為只要索引關鍵字不大,則在索引用于查詢時,表中增加兩到三倍數(shù)據(jù)量,查詢時也就增加讀一個索引層的磁盤次數(shù)。
二.垂直分割
什么是垂直分割呢?打個形象的比喻,一個小公司通過短短幾年發(fā)展變成了一個跨國大企業(yè),以前的部門架構明顯不能滿足現(xiàn)在的業(yè)務發(fā)展,CEO噼里啪啦的把公司分成了財務部、人事部、生產(chǎn)部、銷售部門.....,一下子成立了多個部門,各司其職。這個還算比較形象吧,有木有?呵呵
你垂直分割表(不破壞第三范式),把主碼(主鍵)和一些列放到一個表,然后把主碼(主鍵)和另外的一些列放到另一個表中。將原始表分成多個只包含較少列的表。如果一個表中某些列常用,而另外一些列不常用,則可以采用垂直分割。
優(yōu)點:
1:垂直分割可以使得行數(shù)據(jù)變小,一個數(shù)據(jù)塊(Block)就能存放更多的數(shù)據(jù),在查詢時就會減少I/O次數(shù)(每次查詢時讀取的Block 就少)。
2:垂直分割表可以達到最大化利用Cache的目的。
缺點:
1:表垂直分割后,主碼(主鍵)出現(xiàn)冗余,需要管理冗余列
2:會引起表連接JOIN操作(增加CPU開銷)需要從業(yè)務上規(guī)避
三. 庫表散列
表散列與水平分割相似,但沒有水平分割那樣的明顯分割界限,采用Hash算法把數(shù)據(jù)分散到各個分表中, 這樣IO更加均衡。一般來說,我們會按照業(yè)務或者功能模塊將數(shù)據(jù)庫進行分離,不同的模塊對應不同的數(shù)據(jù)庫或者表,再按照一定的策略對某個頁面或者功能進行更小的數(shù)據(jù)庫散列,比如用戶表,按照用戶ID進行表散列,散列128張表,則應就能夠低成本的提升系統(tǒng)的性能并且有很好的擴展性
什么是水平分割?打個比較形象的比喻,在食堂吃飯的時候,只有一個窗口,排隊打飯的隊伍太長了,都排成S型了,這時容易讓排隊的人產(chǎn)生焦慮情緒,容易產(chǎn)生混亂,這時一個管理者站出來,增加多個打飯窗口,把那條長長的隊伍攔腰截斷成幾隊。更形象一點的理解,你拿一把“手術刀”,把一個大表猛的切了幾刀,結果這個大表,變成了幾個小表.
水平分割根據(jù)某些條件將數(shù)據(jù)放到兩個或多個獨立的表中。即按記錄進分分割,不同的記錄可以分開保存,每個子表的列數(shù)相同。水平切割將表分為多個表。每個表包含的列數(shù)相同,但是數(shù)據(jù)行更少。例如,可以將一個包含十億行的表水平分區(qū)成 12 個表,每個小表表示特定年份內(nèi)一個月的數(shù)據(jù)。任何需要特定月份數(shù)據(jù)的查詢只需引用相應月份的表。
通常用來水平分割表的條件有:日期時間維度、地區(qū)維度等,當然還有更多的業(yè)務維度。下面我舉幾個例子來解說一下
案例1:某個公司銷售記錄數(shù)據(jù)量太大了,我們可以對它按月進行水平分割,每個月的銷售記錄單獨成一張表。
案例2:某個集團在各個地區(qū)都有分公司,該集團的訂單數(shù)據(jù)表太大了,我們可以按分公司所在的地區(qū)進行水平切割。
案例3:某電信公司的話單按日期、地市水平切割后,發(fā)現(xiàn)數(shù)據(jù)量太大,然后他們又按品牌、號碼段進行水平切割
水平分割通常在下面的情況下使用:
(1)表數(shù)據(jù)量很大,分割后可以降低在查詢時需要讀的數(shù)據(jù)和索引的頁數(shù),同時也降低了索引的層數(shù),加快了查詢速度。
?。?)表中的數(shù)據(jù)本來就有獨立性,例如表中分別記錄各個地區(qū)的數(shù)據(jù)或不同時期的數(shù)據(jù),特別是有些數(shù)據(jù)常用,而另外一些數(shù)據(jù)不常用。
?。?)需要把數(shù)據(jù)存放到多個介質(zhì)上。
?。?)需要把歷史數(shù)據(jù)和當前的數(shù)據(jù)拆分開。
優(yōu)點:
1:降低在查詢時需要讀的數(shù)據(jù)和索引的頁數(shù),同時也降低了索引的層數(shù),加快了查詢速度。
缺點:
1:水平分割會給應用增加復雜度,它通常在查詢時需要多個表名,查詢所有數(shù)據(jù)需要union操作。在許多數(shù)據(jù)庫應用中,這種復雜性會超過它帶來的優(yōu)點,因為只要索引關鍵字不大,則在索引用于查詢時,表中增加兩到三倍數(shù)據(jù)量,查詢時也就增加讀一個索引層的磁盤次數(shù)。
二.垂直分割
什么是垂直分割呢?打個形象的比喻,一個小公司通過短短幾年發(fā)展變成了一個跨國大企業(yè),以前的部門架構明顯不能滿足現(xiàn)在的業(yè)務發(fā)展,CEO噼里啪啦的把公司分成了財務部、人事部、生產(chǎn)部、銷售部門.....,一下子成立了多個部門,各司其職。這個還算比較形象吧,有木有?呵呵
你垂直分割表(不破壞第三范式),把主碼(主鍵)和一些列放到一個表,然后把主碼(主鍵)和另外的一些列放到另一個表中。將原始表分成多個只包含較少列的表。如果一個表中某些列常用,而另外一些列不常用,則可以采用垂直分割。
優(yōu)點:
1:垂直分割可以使得行數(shù)據(jù)變小,一個數(shù)據(jù)塊(Block)就能存放更多的數(shù)據(jù),在查詢時就會減少I/O次數(shù)(每次查詢時讀取的Block 就少)。
2:垂直分割表可以達到最大化利用Cache的目的。
缺點:
1:表垂直分割后,主碼(主鍵)出現(xiàn)冗余,需要管理冗余列
2:會引起表連接JOIN操作(增加CPU開銷)需要從業(yè)務上規(guī)避
三. 庫表散列
表散列與水平分割相似,但沒有水平分割那樣的明顯分割界限,采用Hash算法把數(shù)據(jù)分散到各個分表中, 這樣IO更加均衡。一般來說,我們會按照業(yè)務或者功能模塊將數(shù)據(jù)庫進行分離,不同的模塊對應不同的數(shù)據(jù)庫或者表,再按照一定的策略對某個頁面或者功能進行更小的數(shù)據(jù)庫散列,比如用戶表,按照用戶ID進行表散列,散列128張表,則應就能夠低成本的提升系統(tǒng)的性能并且有很好的擴展性
相關文章
Oracle數(shù)據(jù)庫中通用的函數(shù)實例詳解
OracleSQL提供了用于執(zhí)行特定操作的專用函數(shù),這些函數(shù)大大增強了SQL語言的功能,下面這篇文章主要給大家介紹了關于Oracle數(shù)據(jù)庫中通用函數(shù)的相關資料,需要的朋友可以參考下2022-03-03
Centos7下oracle12c的安裝與配置圖文教程(詳細)
這篇文章主要介紹了Centos7下oracle12c的安裝與配置教程(詳細),本文圖文并茂通過實例代碼相結合給大家講解的非常詳細,具有一定的參考借鑒價值,需要的朋友可以參考下2019-11-11
在oracle 數(shù)據(jù)庫查詢的select 查詢字段中關聯(lián)其他表的方法
在實際開發(fā)過程中,特別是在做數(shù)據(jù)查詢的時候,能夠根據(jù)動態(tài)生成的sql語句將查詢的結果轉(zhuǎn)化并返回到業(yè)務處理邏輯(或頁面展示出來)能大大的減輕業(yè)務邏輯的處理復雜度。2009-08-08
查詢Oracle中正在執(zhí)行和執(zhí)行過的SQL語句
這篇文章主要介紹了查詢Oracle中正在執(zhí)行和執(zhí)行過的SQL語句,需要的朋友可以參考下2016-10-10
Oracle使用pivot和unpivot函數(shù)實現(xiàn)行列轉(zhuǎn)換
項目開發(fā)過程中常常會涉及到oracle數(shù)據(jù)庫的一個數(shù)據(jù)操作,那就是行列的互轉(zhuǎn),本文為大家介紹了兩個可以實現(xiàn)這一操作的函數(shù)pivot和unpivot,感興趣的可以了解一下2023-06-06

