Oracle數(shù)據(jù)塊實現(xiàn)原理深入解讀

下午在學習oracle 10g r2 concepts

在這留一筆。

Oracle對數(shù)據(jù)庫數(shù)據(jù)文件（datafile）中的存儲空間進行管理的單位是數(shù)據(jù)塊（data block）。數(shù)據(jù)塊是數(shù)據(jù)庫中最小的（邏輯）數(shù)據(jù)單位。與數(shù)據(jù)塊對應的，所有數(shù)據(jù)在操作系統(tǒng)級的最小物理存儲單位是字節(jié)（byte）。每種操作系統(tǒng)都有一個被稱為塊容量（block size）的參數(shù)。Oracle每次獲取數(shù)據(jù)時，總是訪問整數(shù)個（Oracle）數(shù)據(jù)塊，而不是按照操作系統(tǒng)塊的容量訪問數(shù)據(jù)。

數(shù)據(jù)庫中標準的數(shù)據(jù)塊（data block）容量是由初始化參數(shù) DB_BLOCK_SIZE指定的。除此之外，用戶還可以指定五個非標準的數(shù)據(jù)塊容量（nonstandardblock size）。數(shù)據(jù)塊容量應該設為操作系統(tǒng)塊容量的整數(shù)（同時小于數(shù)據(jù)塊容量的最大限制），以便減少不必要的I/O操作。Oracle數(shù)據(jù)塊是Oracle可以使用和分配的最小存儲單位。

數(shù)據(jù)塊結構

在Oracle中，不論數(shù)據(jù)塊中存儲的是表（table）、索引（index）或簇表（clustered data），其內(nèi)部結構都是類似的。塊結構圖如下所示：

本圖顯示了數(shù)據(jù)塊的各個組成部分，包括：數(shù)據(jù)塊頭（包括標準內(nèi)容和可變內(nèi)容）（common and variable header），表目錄區(qū)（table directory），行目錄區(qū)（row directory），可用空間區(qū)（free space），行數(shù)據(jù)區(qū)（row data）。圖中兩個箭頭表示一個數(shù)據(jù)塊中的可用空間區(qū)的容量是可變的。

數(shù)據(jù)塊頭（包括標準內(nèi)容和可變內(nèi)容）

數(shù)據(jù)塊頭（header）中包含了此數(shù)據(jù)塊的概要信息，例如塊地址（block address）及此數(shù)據(jù)塊所屬的段（segment）的類型（例如，表或索引）。

表目錄區(qū)

如果一個數(shù)據(jù)表在此數(shù)據(jù)塊中儲存了數(shù)據(jù)行，那么數(shù)據(jù)表的信息將被記錄在數(shù)據(jù)塊的表目錄區(qū)（table directory）中。

行目錄區(qū)

此區(qū)域包含數(shù)據(jù)塊中存儲的數(shù)據(jù)行的信息（每個數(shù)據(jù)行片斷（row piece） 在行數(shù)據(jù)區(qū)（row data area）中的地址）。[一個數(shù)據(jù)塊中可能保存一個完整的數(shù)據(jù)行，也可能只保存數(shù)據(jù)行的一部分 ，所以文中使用row piece]

當一個數(shù)據(jù)塊（data block）的行目錄區(qū)（row directory）空間被使用后，即使數(shù)據(jù)行被刪除（delete），行目錄區(qū)空間也不會被回收。舉例來說，當一個曾經(jīng)包含50條記錄的數(shù)據(jù)塊被清空后，其塊頭（header）的行目錄區(qū)仍然占用100字節(jié)（byte）的空間

管理開銷

數(shù)據(jù)塊頭（data block header），表目錄區(qū)（table directory），行目錄區(qū)（rowdirectory）被統(tǒng)稱為管理開銷（overhead）。其中 有些開銷的容量是固定的；而有些開銷的總容量是可變的。數(shù)據(jù)塊中固定及可變管理開銷的容量平均在84到107字節(jié)（byte）之間。

行數(shù)據(jù)

數(shù)據(jù)塊（data block）中行數(shù)據(jù)區(qū)（row data）包含了表或索引的實際數(shù)據(jù)。一個數(shù)據(jù)行可以跨多個數(shù)據(jù)塊。

可用空間區(qū)

在插入新數(shù)據(jù)行，或在更新數(shù)據(jù)行需要更多空間時（例如，原來某行最后一個字段為空（trailing null），現(xiàn)在要更新為非空值），將 使用可用空間區(qū)（free space）中的空間。如果一個數(shù)據(jù)塊（data block）屬于表或簇表的數(shù)據(jù)段（data segment），或?qū)儆谒饕乃饕危╥ndex segment），那么在其可用空間區(qū)中還可能會存儲事務條目（transaction entry）。如果一個數(shù)據(jù)塊中的數(shù)據(jù)行（row）正在由INSERT，UPDATE，DELETE，及 SELECT...FOR UPDATE 語句訪問，此數(shù)據(jù)塊中就需要保存事務條目。事務條目所需的存儲空間依據(jù)操作系統(tǒng)而定。在常見的操作系統(tǒng)中事務條目大約需要占用23字節(jié)（byte）。

可用空間管理

可用空間可以被手動或自動管理

數(shù)據(jù)庫中，每個段（segment）的可用空間可以被自動管理。段內(nèi)的可用/已用空間以位圖（bitmap）形式記錄，這與可用塊以列表方式的管理不同。段空間自動管理（Automatic segment-space management）具備以下優(yōu)勢：

● 易于使用● 空間利用效率更高，尤其針對每行數(shù)據(jù)容量差異大的表（或其他對象）● 能夠更好地針對當前數(shù)據(jù)的情況實時調(diào)整● Better multi-instance behavior. in terms of performance/space utilization

用戶可以在創(chuàng)建一個本地管理的表空間（locally managed tablespace）時選擇自動段空間管理（automatic segment-space management）功能。這樣在此表空間內(nèi)創(chuàng)建的段都將默認地設置為自動段空間管理。

數(shù)據(jù)塊可用空間的有效性及優(yōu)化

有兩種SQL語句可以增加數(shù)據(jù)塊中的可用空間：分別是 DELETE 語句，和將現(xiàn)有數(shù)據(jù)值更新為占用容量更小值的 UPDATE 語句。在以下兩種條件下，上述兩中操作釋放的空間可以被后續(xù)的 INSERT 語句使用：

● 如果 INSERT 語句與上述兩種操作在同一事務（transaction）中，且位于釋放空間的語句之后，那么 INSERT 語句可以使用被釋放的空間。● 如果 INSERT 語句與釋放空間的語句在不同的事務中（比如兩者是由不同的用戶提交的），那么只有在釋放空間的語句提交后，且插入數(shù)據(jù)必需使用此數(shù)據(jù)塊時，INSERT 語句才會使用被釋放的空間。

數(shù)據(jù)塊（data block）中被釋放出的空間未必與可用空間區(qū)（free space）相連續(xù)。Oracle在滿足以下條件時才會將釋放的空間合并到可用空間區(qū)：（1）INSERT 或 UPDATE 語句選中了一個有足夠可用空間容納新數(shù)據(jù)的數(shù)據(jù)塊，（2）但是此塊中的可用空間不連續(xù)，數(shù)據(jù)無法被寫入到數(shù)據(jù)塊中連續(xù)的空間里。Oracle只在 滿足上述條件時才對數(shù)據(jù)塊中的可用空間進行合并，這樣做是為了避免過于頻繁的空間合并工作影響數(shù)據(jù)庫性能。

行鏈接（Row Chaining）及行遷移（Row Migrating）

有兩種情況會導致表中某行數(shù)據(jù)過大，一個數(shù)據(jù)塊（data block）無法容納。第一種情況，當一行數(shù)據(jù)被插入時一個數(shù)據(jù)塊就無法容納。在這種情況下Oracle將這行數(shù)據(jù)存儲在段內(nèi)的一個數(shù)據(jù)塊鏈（chain）中。在插入數(shù)據(jù)量大的行時常會發(fā)生行鏈接（row chaining），例如一個包含數(shù)據(jù)類型為 LONG 或LONG RAW 列的數(shù)據(jù)行。此時行鏈接不可避免。

第二種情況，原本存儲在一個數(shù)據(jù)塊（data block）內(nèi)的數(shù)據(jù)行，因為更新操作導致長度增長，而所在數(shù)據(jù)塊的可用空間也不能容納增長后的數(shù)據(jù)行。在這種情況下，Oracle將此行數(shù)據(jù)遷移（migrate）到新的數(shù)據(jù)塊中。Oracle在被遷移數(shù)據(jù)行原來所在位置保存一個指向新數(shù)據(jù)塊的指針。被遷移數(shù)據(jù)行的rowid 保持不變。

當數(shù)據(jù)行發(fā)生鏈接（chain）或遷移（migrate）時，對其訪問將會造成 I/O 性能降低，因為Oracle為獲取這些數(shù)據(jù)行的數(shù)據(jù)時，必須訪問更多的數(shù)據(jù)塊（data block）。

PCTFREE，PCTUSED，及行鏈接（Row Chaining）

在手動管理的表空間（manually managed tablespaces）中，用戶可以使用PCTFREE 和 PCTUSED 這兩個存儲管理參數(shù)來控制對某段（segment）進行插入和更新操作時，如何利用屬于此段的數(shù)據(jù)塊（data block）中的可用空間。用戶也可以在創(chuàng)建或修改索引時為其設定 PCTFREE 參數(shù)（索引存儲在索引段（index segment）中）

PCTFREE 參數(shù)

PCTFREE 參數(shù)用來設置一個數(shù)據(jù)塊（data block）中至少需要保留（reserve）多少可用空間（百分比值），為數(shù)據(jù)塊中已有數(shù)據(jù)更新時可能發(fā)生的數(shù)據(jù)量增長做準備。例如，當用戶用 CREATE TABLE 語句創(chuàng)建表時指定了以下參數(shù)：

PCTFREE 20

這個參數(shù)設定了此表對應的數(shù)據(jù)段（data segment）中的每個數(shù)據(jù)塊（datablock）至少保留20%的可用空間，以備塊中已有數(shù)據(jù)更新時使用。只要數(shù)據(jù)塊中行數(shù)據(jù)區(qū)與數(shù)據(jù)塊頭的容量之和不超過數(shù)據(jù)塊總容量的80%，用戶就可以向其中插入新數(shù)據(jù)，數(shù)據(jù)行被放入行數(shù)據(jù)區(qū)（row data area），相關信息被寫入數(shù)據(jù)塊頭（overhead area）

下圖說明了PCTFREE 的作用：

PCTUSED 參數(shù)

PCTUSED 參數(shù)用于決定一個數(shù)據(jù)塊（data block）是否可被用于插入新數(shù)據(jù)，她的依據(jù)是數(shù)據(jù)區(qū)（row data）與數(shù)據(jù)塊頭（overhead）的容量之和占數(shù)據(jù)塊全部容量的最大百分比。當一個數(shù)據(jù)塊中的可用空間比例小于PCTFREE 參數(shù)的規(guī)定時，Oracle就認為此數(shù)據(jù)塊無法被用于插入新數(shù)據(jù)，直到數(shù)據(jù)塊中的占用容量比例小于 PCTUSED 參數(shù)的限定。在占用容量比例大于 PCTUSED 參數(shù)的限定之前，Oracle只在更新數(shù)據(jù)塊內(nèi)已有數(shù)據(jù)時才會使用此數(shù)據(jù)塊的可用空間。例如，當用戶用 CREATE TABLE 語句創(chuàng)建表時指定了以下參數(shù)：

PCTUSED 40

在例子中，當此表的某數(shù)據(jù)塊占用容量比例高于40%時，Oracle不會將此數(shù)據(jù)塊用于插入新數(shù)據(jù)行（假設此數(shù)據(jù)塊的可用空間曾經(jīng)低于 PCTFREE 的限定）

PCTUSED 的作用

PCTFREE 和 PCTUSED 如何協(xié)同發(fā)揮作用

PCTFREE 和 PCTUSED 共同作用可以優(yōu)化數(shù)據(jù)塊（data block）的空間使用。

使用 PCTFREE 和 PCTUSED 參數(shù)管理數(shù)據(jù)塊的可用空間

上圖說明了 PCTFREE 和 PCTUSED 如何共同作用以管理數(shù)據(jù)塊（data block）可用空間的使用。

在第一步中，數(shù)據(jù)塊占用空間比例小于80%時才能插入新數(shù)據(jù)，因為PCTFREE 參數(shù)限定必須保留20%的可用空間用于塊內(nèi)已有數(shù)據(jù)的更新。在第二步中，對數(shù)據(jù)塊中已有數(shù)據(jù)的更新操作可以使用數(shù)據(jù)塊中的保留空間。只有當數(shù)據(jù)塊內(nèi)的占用空間比例低于40%時才能向其中插入新數(shù)據(jù)。在第三步中，當數(shù)據(jù)塊內(nèi)的占用空間比例低于40%時，此數(shù)據(jù)塊再次可以被用于插入新數(shù)據(jù)。在第四步中，數(shù)據(jù)塊占用空間比例小于80%時才能插入新數(shù)據(jù)，因為PCTFREE 參數(shù)限定必須保留20%的可用空間用于塊內(nèi)已有數(shù)據(jù)的更新。此過程如此往復循環(huán)。

在新分配的數(shù)據(jù)塊中（data block），可用于插入（insert）數(shù)據(jù)的空間等于數(shù)據(jù)塊總容量減去數(shù)據(jù)塊頭（block overhead）再減去預留可用空間（PCTFREE）。而更新（update）數(shù)據(jù)塊內(nèi)已有數(shù)據(jù)可使用數(shù)據(jù)塊中的所有可用空間。因此，更新操作能夠使數(shù)據(jù)塊內(nèi)的可用空間低于的 PCTFREE 限制，因為這些空間是專為更新操作而預留的。

在每個數(shù)據(jù)段（data segment）與索引段（index segment）中，Oracle管理著一個或多個可用塊列表（free list）--其中列出了所有屬于此段的數(shù)據(jù)擴展（extent），且可用空間比例大于 PCTFREE 限定的數(shù)據(jù)塊。這些塊可以被插入（insert）操作使用。當用戶提交了 INSERT 語句后，Oracle從可用塊列表中選擇第一個有效的數(shù)據(jù)塊使用。如果此數(shù)據(jù)塊的可用空間不夠容納 INSERT語句提交的數(shù)據(jù)，且此塊的占用容量已經(jīng)超過PCTUSED 的限定，Oracle就將其從可用塊列表中移出。一個段可以同時使用多個可用塊列表，以減少對一個表進行并發(fā)插入（concurrent insert）時產(chǎn)生的競爭。

當用戶提交了 DELETE 或 UPDATE 語句后，Oracle處理語句并檢查相關數(shù)據(jù)塊中的占用空間比例是否小于 PCTUSED 的規(guī)定。如果滿足，那么這個數(shù)據(jù)塊就被放入當前事務（transaction）正在使用的可用塊列表（free list）的頭部，如果當前事務還需要寫入數(shù)據(jù)，此塊將被首先使用。當事務提交后，此數(shù)據(jù)塊中的可用空間還可被其他事務使用。