數據工程——處理、分析與服務

內容簡介

本書以“數據—知識—服務”為主線，以數據處理、分析和服務的代表性方法與技術為重點。數據處理篇介紹結構化、非結構化和半結構化數據的存儲、查詢和最佳化方法；數據分析篇介紹數據挖掘、知識發現和數據倉庫的經典算法；數據服務篇介紹Web服務和數據密集型計算技術。本書既考慮了數據工程技術在基礎、經典和前沿三方面內容的系統性，也考慮了數據工程學科在數據、知識和服務三方面內容的完整性，介紹每部分內容的代表性技術；在每個知識點的闡述中，注重思路和技術框架的介紹、技術內涵和理念的傳遞，旨在為讀者進一步學習和研究與數據相關的學科的方法和技術提供一些參考。
本書內容的學習，需要讀者具有電腦程式設計和關係資料庫查詢處理的基礎知識，以及使用資料庫管理系統的基本能力，可作為資料庫相關學科研究和開發人員的參考書，也可作為計算機科學與技術學科各專業研究生、高年級本科生相關課程的教材。

前言

隨著數據規模的不斷增大、數據採集手段的日益多樣化，數據管理技術迅速發展，從傳統的關係型數據到文本數據、半結構化數據和Web數據，從傳統的關係資料庫管理到面向大數據的分散式檔案系統和數據中心，從經典的查詢處理和最佳化到數據分析和知識發現，從數據集成到套用集成和服務計算，從集中式架構到分散式並行模型和數據密集型計算等。
人們從不同的角度來描述資料庫這一概念，有不同的定義。例如，資料庫是若干記錄的集合；為解決特定的任務，以一定的組織方式存儲在一起的相關的數據的集合等。然而，隨著數據管理技術的發展，人們對資料庫的認識和理解也不斷深入。從學科領域的角度看，資料庫學科探討工程化和套用驅動背景下的數據管理理論、方法和支撐技術，是包括建模、管理和分析等方面的方法理念和支撐技術的平台和載體。因此，資料庫逐漸向數據科學這一新興學科演化發展，其研究逐漸從數據處理這一基礎領域擴展到了數據分析和數據服務。
數據工程，是指面向不同計算平台和套用環境，使用信息系統設計、開發和評價的工程化技術和方法。以工程化作為基本出發點的數據處理、分析和套用方法與技術，是計算機科學與技術學科的重要內容、核心與趨勢，具有廣泛的套用和良好的前景。目前，數據工程已成為計算機相關學科中研究、開發和教學的基本理念和必不可少的內容。隨著數據在不同套用中地位的逐漸提升、數據格式的日益多樣化，數據工程領域的前沿層出不窮、內涵日益豐富、熱點不斷演變，“數據(Data)—知識(Knowledge)—服務(Service)”是目前數據科學與工程領域研究和套用的趨勢和主線，基於數據的網路信息服務已成為目前信息技術的核心和未來發展的方向；大數據是目前國內外各個領域所關注的焦點，數據工程是其中的重點問題。因此，從工程化的角度理解數據科學，數據工程既包括數據處理技術，也包括數據分析技術和數據服務技術；既包括查詢處理和最佳化、事務和工作流管理和資料庫架構等基礎內容，也包括數據挖掘與知識發現、時空數據、元數據和社會數據分析等經典問題，另外還包括機率數據、雲計算和大數據管理等前沿課題。
一方面，技術發展迅速、涉及面較廣，使得數據處理、數據分析和數據服務的學習通常可能既涉及數據存儲和查詢的傳統技術，又涉及數據挖掘和知識發現的經典技術，以及面向網路信息服務的新技術。另一方面，不同層次的讀者，對數據工程相關知識的需求也有很大差異。數據工程本身的特點決定了它並不存在通用的學習模式、面面俱到的文獻和一成不變的學習方法；技術內涵和方法理念，是希望通過學習獲得的最有價值的內容。因此，綜合考慮數據工程技術內容和學科領域內涵的完整性和系統性，本書以“數據—知識—服務”為主線，以數據處理、分析和服務的代表性方法與技術為重點，包括關係資料庫的設計與查詢最佳化，信息檢索與Web搜尋引擎、XML數據管理、數據挖掘與數據倉庫、Web服務、數據密集型計算等；在每個知識點的闡述中，注重思路和技術框架的介紹，並不陷入技術的細節。通過本書內容的學習，使讀者對數據處理、數據分析和數據服務的工程化方法，有較為系統和完整的理解。以這些內容作為數據工程技術的代表，旨在傳遞概念、方法和技術內涵與理念，為讀者進一步學習和研究面向數據科學的方法和技術提供一些參考。
本書由數據處理篇、數據分析篇和數據服務篇三部分構成。
數據處理篇的主要內容包括第1~3章。第1章介紹關係資料庫查詢最佳化的常用技術，主要包括資料庫設計與連線操作，基於索引、關係模式反規範化、物化視圖和查詢重寫的最佳化策略。第2章介紹信息檢索，主要包括信息檢索模型、文本信息檢索、Web搜尋引擎關鍵技術以及信息檢索評價。第3章介紹XML數據管理，主要包括XML語法、數據模型、解析、存儲、索引和查詢處理技術以及XML資料庫性能評測。
數據分析篇的主要內容包括第4、5章。第4章介紹數據挖掘，主要包括數據挖掘和知識發現的概念，數據清理、數據分類與聚類分析技術以及數據挖掘算法評價。第5章介紹數據倉庫，主要包括數據倉庫的概念、架構和主要數據分析操作。
數據服務篇主要包括第6、7章。第6章介紹Web服務的基本概念、架構、標準協定以及Web服務質量、Web服務發現與組合和Web服務安全的支撐技術。第7章介紹數據密集型計算，包括數據密集型計算的基本概念、數據密集型計算的支撐技術、支持海量數據管理的計算平台、海量數據處理和海量數據分析技術。
在成書過程中得到國家自然科學基金項目、教育部博士點基金專項課題、雲南省中青年學術與技術帶頭人後備人才培養計畫、雲南大學計算機科學與技術國家級特色專業建設項目、雲南大學研究生精品課程建設項目的資助。在本書編著過程中，華東師範大學周傲英教授、雲南大學劉惟一教授和張學傑教授，對本書的內容、選材和出版提出了許多中肯的意見，並給予了大力的支持。此外，雲南大學信息學院和研究生院以及雲南大學數據與知識工程課題組的研究生，給予了很多有益的幫助，在此一併表示衷心的感謝。由於作者水平有限，對方法和技術的理解及觀點可能不夠全面，難免有錯誤和疏漏之處，懇請各位專家和讀者批評指正。

數據工程——處理、分析與服務

基本介紹

內容簡介

前言

目錄

相關詞條

熱門詞條