基本介紹
- 中文名：數據轉換管理系統
- 外文名：data conversion management system
- 學科：計算機
- 定義：對數據轉換過程進行管理的系統
- 目的：使數據轉換正確完成
- 領域：資料庫
簡介,資料庫管理系統,數據轉換,數據轉換管理系統構成,數據提取,數據載入,數據檢查,
簡介
數據轉換管理系統是指對數據從一種形式轉換為另一種形式進行管理的軟體系統。數據轉換管理系統可以加快數據的轉換過程以及避免或減少數據轉換過程中出現的錯誤。數據轉換管理系統可在一定程度提高系統的運行效率和提高數據不同格式之間的兼容性以及通用性。數據轉換管理系統主要工作有定義數據轉換的格式，例如將CSV檔案轉換為sql檔案；提供相關轉換接口以及對一些異常進行處理。
資料庫管理系統
資料庫管理系統(Database Management System,DBMS)是一種操縱和管理資料庫的大型軟體，是用於建立、使用和維護資料庫。它對資料庫進行統一的管理和控制，以保證資料庫的安全性和完整性。用戶通過dbms訪問資料庫中的數據，資料庫管理員也通過dbms進行資料庫的維護工作。它提供多種功能，可使多個應用程式和用戶用不同的方法在同時或不同時刻去建立，修改和詢問資料庫。它使用戶能方便地定義和操縱數據，維護數據的安全性和完整性，以及進行多用戶下的並發控制和恢複數據庫。按功能劃分，資料庫管理系統大致可分為6個部分：
(1)模式翻譯：提供數據定義語言(ddl)。用它書寫的資料庫模式被翻譯為內部表示。資料庫的邏輯結構、完整性約束和物理儲存結構保存在內部的數據字典中。資料庫的各種數據操作(如查找、修改、插入和刪除等)和資料庫的維護管理都是以資料庫模式為依據的。
(2)應用程式的編譯：把包含著訪問資料庫語句的應用程式，編譯成在dbms支持下可運行的目標程式。
(3)互動式查詢：提供易使用的互動式查詢語言，如sql。dbms負責執行查詢命令，並將查詢結果顯示在螢幕上。
(4)數據的組織與存取：提供數據在外圍儲存設備上的物理組織與存取方法。
⑸事務運行管理：提供事務運行管理及運行日誌，事務運行的安全性監控和數據完整性檢查，事務的並發控制及系統恢復等功能。
(6)資料庫的維護：為資料庫管理員提供軟體支持，包括數據安全控制、完整性保障、資料庫備份、資料庫重組以及性能監控等維護工具。
數據轉換
按指定規則，把數據從一種表達形 式變換為另一種表達形式的過程。 在變換過程中，數據的含義完全不 變。例如，把數據從非機讀形式轉 變為機讀形式。在計算機中，數據轉換一般發生在軟體系統的升級中，在軟體系統升級過程中，會帶來資料庫的升級，每一個軟體系統對其後面的資料庫的構架與數據的存諸形式都是不相同的，這樣就需要數據的轉換了。主要是由於數據量的不斷增加，原來數據構架的不合理，不能滿足各方面的要求。由資料庫的更換，數據結構的更換，從而需要數據本身的轉換。例如，在進行數據分析或數據統計時，存儲在資料庫的數據是sql檔案格式，而處理程式指支持文本格式，這時就需要進行數據轉換。
數據轉換管理系統構成
數據轉換管理系統主要由數據提取、數據轉換、數據載入和數據檢查等模組組成。
數據提取
數據提取是指從資料庫中提取所需要的數據，常見數據提取方法如下：
基於存儲過程的數據提取
存儲過程是一個預編譯的SQL語句的集合，它存儲在所給名字下的一個資料庫中,並作為一個單元執行。作為可程式資料庫系統的一種公用技術，存儲過程是簡單SQL語句的擴展。存儲過程提供了一個模組化的開發技術，同時在資料庫管理系統和套用開發環境之間提供一個抽象層。並且，存於資料庫中的存儲過程比互動執行的相同語句組運行速度要快得多。在模組的重用性和SQL性能及靈活性方面具有極大的優越性。適用於協同開發及大數據量的處理。在數據倉庫系統中，利用存儲過程即可方便、高效地實現相同資料庫管理系統間的數據提取。可以定時或利用觸發器自動執行存儲過程,或在套用開發工具上利用SQL語句調用執行。
基於過程語言和調用接口的數據提取
為了得到比存儲過程更靈活的實現，主要資料庫管理系統都提供了利用過程語言內嵌入的SQL語句或庫函式調用來訪問資料庫。同時，通過系統提供的接口函式，可在第三代程式設計語言中直接對資料庫中的數據和模式進行操縱，包括所有的SQL數據定義、數據操縱、查詢和事務控制等。這種不需預編譯的純過程語言程式具有比存儲過程更強的數據處理能力和更大的靈活性。
數據載入
數據載入是指將需要轉換的數據從資料庫中提取出來，載入到指定的程式或程式接口中，或者是指將轉換完的數據載入到其他資料庫中。
數據檢查
系統檢查目標數據文檔中的數據是否符合資料庫中的數據結構要求，若符合，轉到進行數據載入。如若不符合，—重新到數據分析模組進行相應的操作。
