ETL數(shù)據(jù)增量抽取方案內容節(jié)選

ETL 簡介
數(shù)據(jù)集成是把不同來源、格式和特點的數(shù)據(jù)在邏輯上或物理上有機地集中，從而提供全面的數(shù)據(jù)共享，是企業(yè)商務智能、數(shù)據(jù)倉庫系統(tǒng)的重要組成部分。ETL 是企業(yè)數(shù)據(jù)集成的主要解決方案。

隨著信息化建設的發(fā)展，巨大的投資為公安行業(yè)建立了眾多的信息系統(tǒng)，以幫助公安進行內外部業(yè)務的處理和管理工作，但是隨著信息系統(tǒng)的增加，各自孤立工作的信息系統(tǒng)將會造成大量的冗余數(shù)據(jù)和業(yè)務人員的重復勞動。數(shù)據(jù)集成是公安應用集成的重要環(huán)節(jié)，實現(xiàn)數(shù)據(jù)集成，可以使更多的人更充分地使用已有數(shù)據(jù)資源，減少資料收集、數(shù)據(jù)采集等重復勞動和相應費用。

但是，在實施數(shù)據(jù)集成的過程中，由于不同用戶提供的數(shù)據(jù)可能來自不同的途徑，其數(shù)據(jù)內容、數(shù)據(jù)格式和數(shù)據(jù)質量千差萬別，有時甚至會遇到數(shù)據(jù)格式不能轉換或數(shù)據(jù)轉換格式后丟失信息等棘手問題，嚴重阻礙了數(shù)據(jù)在各部門和各應用系統(tǒng)中的流動與共享。因此，如何對數(shù)據(jù)進行有效的集成管理已成為增強公安戰(zhàn)斗力的必然選擇。ETL 是實現(xiàn)數(shù)據(jù)集成的主要技術。

ETL 中三個字母分別代表的是Extract、Transform、Load，即抽取、轉換、加載。

（1）數(shù)據(jù)抽?。簭脑磾?shù)據(jù)源系統(tǒng)抽取目的數(shù)據(jù)源系統(tǒng)需要的數(shù)據(jù)；

（2）數(shù)據(jù)轉換：將從源數(shù)據(jù)源獲取的數(shù)據(jù)按照業(yè)務需求，轉換成目的數(shù)據(jù)源要求的形式，并對錯誤、不一致的數(shù)據(jù)進行清洗和加工；

（3）數(shù)據(jù)加載：將轉換后的數(shù)據(jù)裝載到目的數(shù)據(jù)源。ETL 作為構建數(shù)據(jù)倉庫的一個環(huán)節(jié)，負責將分布的、異構數(shù)據(jù)源中的數(shù)據(jù)如關系數(shù)據(jù)、平面數(shù)據(jù)文件等抽取到臨時中間層后進行清洗、轉換、集成，最后加載到數(shù)據(jù)倉庫或數(shù)據(jù)集市中，成為聯(lián)機分析處理、數(shù)據(jù)挖掘的基礎。現(xiàn)在越來越多地將ETL 應用于一般信息系統(tǒng)數(shù)據(jù)的遷移、交換和同步。