海量數(shù)據(jù)庫(kù)的查詢優(yōu)化及分頁(yè)算法方案集合1/2第1/2頁(yè)
在以下的文章中,我將以“辦公自動(dòng)化”系統(tǒng)為例,探討如何在有著1000萬(wàn)條數(shù)據(jù)的MS SQL SERVER數(shù)據(jù)庫(kù)中實(shí)現(xiàn)快速的數(shù)據(jù)提取和數(shù)據(jù)分頁(yè)。以下代碼說(shuō)明了我們實(shí)例中數(shù)據(jù)庫(kù)的“紅頭文件”一表的部分?jǐn)?shù)據(jù)結(jié)構(gòu):
CREATE TABLE [dbo].[TGongwen] ( --TGongwen是紅頭文件表名
[Gid] [int] IDENTITY (1, 1) NOT NULL ,
--本表的id號(hào),也是主鍵
[title] [varchar] (80) COLLATE Chinese_PRC_CI_AS NULL ,
--紅頭文件的標(biāo)題
[fariqi] [datetime] NULL ,
--發(fā)布日期
[neibuYonghu] [varchar] (70) COLLATE Chinese_PRC_CI_AS NULL ,
--發(fā)布用戶
[reader] [varchar] (900) COLLATE Chinese_PRC_CI_AS NULL ,
--需要瀏覽的用戶。每個(gè)用戶中間用分隔符“,”分開(kāi)
) ON [PRIMARY] TEXTIMAGE_ON [PRIMARY]
GO
下面,我們來(lái)往數(shù)據(jù)庫(kù)中添加1000萬(wàn)條數(shù)據(jù):
declare @i int
set @i=1
while @i<=250000
begin
insert into Tgongwen(fariqi,neibuyonghu,reader,title) values('2004-2-5','通信科','通信科,辦公室,王局長(zhǎng),劉局長(zhǎng),張局長(zhǎng),admin,刑偵支隊(duì),特勤支隊(duì),交巡警支隊(duì),經(jīng)偵支隊(duì),戶政科,治安支隊(duì),外事科','這是最先的25萬(wàn)條記錄')
set @i=@i+1
end
GO
declare @i int
set @i=1
while @i<=250000
begin
insert into Tgongwen(fariqi,neibuyonghu,reader,title) values('2004-9-16','辦公室','辦公室,通信科,王局長(zhǎng),劉局長(zhǎng),張局長(zhǎng),admin,刑偵支隊(duì),特勤支隊(duì),交巡警支隊(duì),經(jīng)偵支隊(duì),戶政科,外事科','這是中間的25萬(wàn)條記錄')
set @i=@i+1
end
GO
declare @h int
set @h=1
while @h<=100
begin
declare @i int
set @i=2002
while @i<=2003
begin
declare @j int
set @j=0
while @j<50
begin
declare @k int
set @k=0
while @k<50
begin
insert into Tgongwen(fariqi,neibuyonghu,reader,title) values(cast(@i as varchar(4))+'-8-15 3:'+cast(@j as varchar(2))+':'+cast(@j as varchar(2)),'通信科','辦公室,通信科,王局長(zhǎng),劉局長(zhǎng),張局長(zhǎng),admin,刑偵支隊(duì),特勤支隊(duì),交巡警支隊(duì),經(jīng)偵支隊(duì),戶政科,外事科','這是最后的50萬(wàn)條記錄')
set @k=@k+1
end
set @j=@j+1
end
set @i=@i+1
end
set @h=@h+1
end
GO
declare @i int
set @i=1
while @i<=9000000
begin
insert into Tgongwen(fariqi,neibuyonghu,reader,title) values('2004-5-5','通信科','通信科,辦公室,王局長(zhǎng),劉局長(zhǎng),張局長(zhǎng),admin,刑偵支隊(duì),特勤支隊(duì),交巡警支隊(duì),經(jīng)偵支隊(duì),戶政科,治安支隊(duì),外事科','這是最后添加的900萬(wàn)條記錄')
set @i=@i+1000000
end
GO
通過(guò)以上語(yǔ)句,我們創(chuàng)建了25萬(wàn)條由通信科于2004年2月5日發(fā)布的記錄,25萬(wàn)條由辦公室于2004年9月6日發(fā)布的記錄,2002年和2003年各100個(gè)2500條相同日期、不同分秒的由通信科發(fā)布的記錄(共50萬(wàn)條),還有由通信科于2004年5月5日發(fā)布的900萬(wàn)條記錄,合計(jì)1000萬(wàn)條。
一、因情制宜,建立“適當(dāng)”的索引
建立“適當(dāng)”的索引是實(shí)現(xiàn)查詢優(yōu)化的首要前提。
索引(index)是除表之外另一重要的、用戶定義的存儲(chǔ)在物理介質(zhì)上的數(shù)據(jù)結(jié)構(gòu)。當(dāng)根據(jù)索引碼的值搜索數(shù)據(jù)時(shí),索引提供了對(duì)數(shù)據(jù)的快速訪問(wèn)。事實(shí)上,沒(méi)有索引,數(shù)據(jù)庫(kù)也能根據(jù)SELECT語(yǔ)句成功地檢索到結(jié)果,但隨著表變得越來(lái)越大,使用“適當(dāng)”的索引的效果就越來(lái)越明顯。注意,在這句話中,我們用了“適當(dāng)”這個(gè)詞,這是因?yàn)椋绻褂盟饕龝r(shí)不認(rèn)真考慮其實(shí)現(xiàn)過(guò)程,索引既可以提高也會(huì)破壞數(shù)據(jù)庫(kù)的工作性能。
(一)深入淺出理解索引結(jié)構(gòu)
實(shí)際上,您可以把索引理解為一種特殊的目錄。微軟的SQL SERVER提供了兩種索引:聚集索引(clustered index,也稱聚類索引、簇集索引)和非聚集索引(nonclustered index,也稱非聚類索引、非簇集索引)。下面,我們舉例來(lái)說(shuō)明一下聚集索引和非聚集索引的區(qū)別:
其實(shí),我們的漢語(yǔ)字典的正文本身就是一個(gè)聚集索引。比如,我們要查“安”字,就會(huì)很自然地翻開(kāi)字典的前幾頁(yè),因?yàn)椤鞍病钡钠匆羰恰癮n”,而按照拼音排序漢字的字典是以英文字母“a”開(kāi)頭并以“z”結(jié)尾的,那么“安”字就自然地排在字典的前部。如果您翻完了所有以“a”開(kāi)頭的部分仍然找不到這個(gè)字,那么就說(shuō)明您的字典中沒(méi)有這個(gè)字;同樣的,如果查“張”字,那您也會(huì)將您的字典翻到最后部分,因?yàn)椤皬垺钡钠匆羰恰皕hang”。也就是說(shuō),字典的正文部分本身就是一個(gè)目錄,您不需要再去查其他目錄來(lái)找到您需要找的內(nèi)容。
我們把這種正文內(nèi)容本身就是一種按照一定規(guī)則排列的目錄稱為“聚集索引”。
如果您認(rèn)識(shí)某個(gè)字,您可以快速地從自動(dòng)中查到這個(gè)字。但您也可能會(huì)遇到您不認(rèn)識(shí)的字,不知道它的發(fā)音,這時(shí)候,您就不能按照剛才的方法找到您要查的字,而需要去根據(jù)“偏旁部首”查到您要找的字,然后根據(jù)這個(gè)字后的頁(yè)碼直接翻到某頁(yè)來(lái)找到您要找的字。但您結(jié)合“部首目錄”和“檢字表”而查到的字的排序并不是真正的正文的排序方法,比如您查“張”字,我們可以看到在查部首之后的檢字表中“張”的頁(yè)碼是672頁(yè),檢字表中“張”的上面是“馳”字,但頁(yè)碼卻是63頁(yè),“張”的下面是“弩”字,頁(yè)面是390頁(yè)。很顯然,這些字并不是真正的分別位于“張”字的上下方,現(xiàn)在您看到的連續(xù)的“馳、張、弩”三字實(shí)際上就是他們?cè)诜蔷奂饕械呐判?,是字典正文中的字在非聚集索引中的映射。我們可以通過(guò)這種方式來(lái)找到您所需要的字,但它需要兩個(gè)過(guò)程,先找到目錄中的結(jié)果,然后再翻到您所需要的頁(yè)碼。
我們把這種目錄純粹是目錄,正文純粹是正文的排序方式稱為“非聚集索引”。
通過(guò)以上例子,我們可以理解到什么是“聚集索引”和“非聚集索引”。
進(jìn)一步引申一下,我們可以很容易的理解:每個(gè)表只能有一個(gè)聚集索引,因?yàn)槟夸浿荒馨凑找环N方法進(jìn)行排序。
(二)何時(shí)使用聚集索引或非聚集索引
下面的表總結(jié)了何時(shí)使用聚集索引或非聚集索引(很重要)。
動(dòng)作描述
使用聚集索引
使用非聚集索引
列經(jīng)常被分組排序
應(yīng)
應(yīng)
返回某范圍內(nèi)的數(shù)據(jù)
應(yīng)
不應(yīng)
一個(gè)或極少不同值
不應(yīng)
不應(yīng)
小數(shù)目的不同值
應(yīng)
不應(yīng)
大數(shù)目的不同值
不應(yīng)
應(yīng)
頻繁更新的列
不應(yīng)
應(yīng)
相關(guān)文章
MySQL與Oracle 差異比較之一數(shù)據(jù)類型
這篇文章主要介紹了MySQL與Oracle 差異比較之一數(shù)據(jù)類型,需要的朋友可以參考下2017-04-04
SQL注入技巧之顯注與盲注中過(guò)濾逗號(hào)繞過(guò)詳析
SQL注入的繞過(guò)技巧有很多,下面這篇文章主要給大家介紹了關(guān)于SQL注入技巧之顯注與盲注中過(guò)濾逗號(hào)繞過(guò)的相關(guān)資料,文中通過(guò)示例代碼介紹的非常詳細(xì),需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2018-08-08
達(dá)夢(mèng)數(shù)據(jù)庫(kù)DISQL連接數(shù)據(jù)庫(kù)與執(zhí)行SQL、腳本的方法圖文詳解
DIsql是DM數(shù)據(jù)庫(kù)的一個(gè)命令行客戶端工具,跟Oracle數(shù)據(jù)庫(kù)的sqlplus工具一樣,用來(lái)與?DM?數(shù)據(jù)庫(kù)服務(wù)器進(jìn)行交互,這篇文章主要給大家介紹了關(guān)于達(dá)夢(mèng)數(shù)據(jù)庫(kù)DISQL連接數(shù)據(jù)庫(kù)與執(zhí)行SQL、腳本的方法,需要的朋友可以參考下2024-09-09
一次因表變量導(dǎo)致SQL執(zhí)行效率變慢的實(shí)戰(zhàn)記錄
這篇文章主要給大家介紹了一次因表變量導(dǎo)致SQL執(zhí)行效率變慢的實(shí)戰(zhàn)記錄,本文通過(guò)圖文以及示例代碼介紹的非常詳細(xì),對(duì)大家學(xué)習(xí)或者了解sql具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2021-11-11
postgres 數(shù)據(jù)庫(kù)中的數(shù)據(jù)轉(zhuǎn)換
postgres8.3以后,字段數(shù)據(jù)之間的默認(rèn)轉(zhuǎn)換取消了。如果需要進(jìn)行數(shù)據(jù)變換的話,在postgres數(shù)據(jù)庫(kù)中,我們可以用"::"來(lái)進(jìn)行字段數(shù)據(jù)的類型轉(zhuǎn)換。2009-07-07
常用SQL語(yǔ)句優(yōu)化技巧總結(jié)【經(jīng)典】
這篇文章主要介紹了常用SQL語(yǔ)句優(yōu)化技巧,結(jié)合實(shí)例形式對(duì)比分析,總結(jié)了各種常用的SQL優(yōu)化技巧及相關(guān)原理,需要的朋友可以參考下2017-04-04
解決Navicat數(shù)據(jù)庫(kù)連接成功但密碼忘記的問(wèn)題
這篇文章給大家介紹了Navicat數(shù)據(jù)庫(kù)連接成功,密碼忘記如何解決,文中給大家介紹了兩種解決方法,有詳細(xì)的圖文講解,需要的朋友可以參考下2023-08-08
數(shù)據(jù)庫(kù)查詢中遭遇特殊字符導(dǎo)致問(wèn)題的解決方法
數(shù)據(jù)庫(kù)查詢中遭遇特殊字符導(dǎo)致問(wèn)題的解決方法,我們提供的是asp的,但其它的數(shù)據(jù)庫(kù)與語(yǔ)言下的解決方法也大同小異。2007-12-12

