管理海量數據——壓縮、索引和查詢（第2版）（經典再現全新修訂版）:編輯推薦,主要內

《管理海量數據——壓縮、索引和查詢（第2版）》是斯坦福管理海量數據——壓縮、索引和查詢（第2版）》理論和實踐並重，深入淺出地給出了海量信息數據處理的整套解決方案，包括壓縮、索引和查詢的方方面面。其最大的特色在於不僅僅滿足信息檢索理論學習的需要，更重要的是給出了實踐中可能面對的各種問題及其解決方法。

基本介紹

書名：管理海量數據——壓縮、索引和查詢（第2版）（經典再現全新修訂版）
作者：【美】Ian H.Witten 【美】Alistair Moffat 【美】Timothy C.Bell 著
譯者：梁斌楊青
ISBN：9787121219337
頁數：540頁
定價：108元
出版時間：2014年1月出版
開本：16開

編輯推薦,主要內容,目錄,

編輯推薦

大數據時代，這是一本給海量數據處理的從業人員的聖經——它教會您如何高效和有效地處理大量的信息，以便能方便、廉價地定位和抽取對企業對自己有效的信息。

主要內容

《管理海量數據——壓縮、索引和查詢（第2版）》是史丹福大學信息檢索和挖掘課程的首選教材之一，並已成為全球主要大學信息檢索的主要教材。《管理海量數據——壓縮、索引和查詢（第2版）》理論和實踐並重，深入淺出地給出了海量信息數據處理的整套解決方案，包括壓縮、索引和查詢的方方面面。其最大的特色在於不僅僅滿足信息檢索理論學習的需要，更重要的是給出了實踐中可能面對的各種問題及其解決方法。

《管理海量數據——壓縮、索引和查詢（第2版）》作為史丹福大學信息檢索課程的教材之一，具有一定的閱讀難度，主要面向信息檢索專業高年級本科生和研究生、搜尋引擎業界的專業技術人員和從事海量數據處理相關專業的技術人員。

大多數的外部壓縮方法可以歸納為兩類，即符號方法（symbolwise method）和字典方法（dictionarymethod）。符號方法就是通過估計符號（常常是字元）的機率值來壓縮文本，它在同一時間只對一個符號編碼，如摩斯碼，對最可能出現的符號使用較短的碼字。字典方法通過使用“字典”中詞條的索引替換單字或文本片段來實現壓縮。既然採用特殊的編碼表示所有的辭彙，因此Braille盲文編碼也是一種字典方法。

符號方法通常基於哈夫曼編碼或算術編碼，主要的不同之處在於如何估計符號的機率。符號機率值估計得越準，壓縮效果就越好。為了獲得更好的壓縮效果，機率估計常常要根據符號出現的上下文來進行。機率估計的工作叫做“建模”（modeling），而建立一個好的模型對於實現好的壓縮效果是至關重要的。把機率轉換為比特流（bitstream）以供傳輸的過程叫做“摩斯碼”，編碼這個概念很好理解，可用哈夫曼或算術編碼的方法有效地實現。模型的建立是一種藝術，不會只有唯一的“最佳”方法。

作者簡介

作者

作者是南半球院校當中最權威最重要的專家，本書當中闡釋了他們多項創新性研究。他們寫過8本書，300多篇研究論文，也在許多國際性程式協會當中做過研究，包括 IEEE數據壓縮協會，ACM數字圖書館，以及信息檢索協會。

譯者

楊青，畢業於清華大學計算機系，原人民搜尋技術總監，參與網頁搜尋、新聞搜尋等多個產品項目的研發工作，在搜尋引擎上面有多年的實踐經驗。

梁斌，清華大學計算機系博士研究生在讀，在搜狗和金山軟體等多個公司從事搜尋引擎和內容推薦的研發工作，曾編著《走進搜尋引擎》。

媒體評論

Witten，Moffat和Bell的第二版中不僅僅有更新、更好的文本搜尋算法，而且還有大量有關圖像分析和圖像文本處理的知識。如果你關心搜尋引擎，你就會需要這本書，這是目前唯一能夠細緻入微到搜尋引擎如何運作的各個細節的一本書籍。這本書不僅翔實而且可讀性強，作者將頂尖的程式和完美的寫作風格融為一爐。

——Michael Lesk，國家自然基金會

對每個希望掌握大規模數據處理的從業人員來說，這本書是一本聖經。在Infoseek公司，我們要求每個搜尋工程師閱讀此書。作者的這項工作令人讚嘆，他們已經把近5年內信息檢索研究界最令人矚目的成果寫進了本書。

——Steve kirsch，Infoseek公司創始人

能夠包括壓縮、檔案組織、全文索引技術和文檔管理系統，因此本書無疑是無以倫比的。學生，研究者和從業人員將會從本書中受益

——Bruce Croft,麻薩諸塞大學智慧型信息檢索中心主任

快速回響和高效存儲時超媒體研究者和開發者的基礎技術，我強烈向大家推薦這本可讀性強且發人深思的好書。

——Rob Aksycn, Knowledge Systems公司

前言

計算機革命使得全社會都再也不能離開信息。然而，大部分的信息還是以其原始的格式存儲著，即數據(data)。原始信息是海量的。這些數據主要產生於商業活動、法律訴訟和政府活動。隨之而來的還有不計其數的複製品，這主要是報導、雜誌和報紙產生的。最後這一切存儲在檔案館、圖書館和計算機中。面對的挑戰是如何高效和有效地處理大量的信息，以便能方便、廉價地定位和抽取有效的信息。

從空間的角度看，在紙張上存儲文檔的傳統方法是昂貴的，更重要的是，當需要定位和檢索所需要的信息時，需要付出高昂的代價。因此能夠經濟地存儲和訪問文檔就變得越來越重要。幾百英尺高的一大堆書中所包含的文本只需要一塊磁碟就可以存下，從物理空間占用的角度看，電子媒體的這種存儲能力是驚人的。和人工的文檔索引方法相比，這種方法即具有伸縮性（全部的單詞都可以作為關鍵字）和可靠性（因為索引構造的過程完全不需要人的參與，也就沒有人為干擾）。此外，當今社會的各類組織不得不處理各種來源的電子信息，例如，機器可讀文本、傳真、其他掃描文檔和數字圖像。和紙媒體相比，使用電子媒體在存儲和訪問上都特別有效。

這本書討論如何管理大量文檔、GB的數據。1GB大約是1000MB，這足夠存儲1000本書籍，相當於從地板摞到天花板這么高的書籍。在日常生活的辭彙不斷地增長的同時，大規模存儲設備容量也在不斷增長。就在20年前，百兆數據的需求看上去是那么的奢侈，甚至是幻想。今天個人電腦已經配置上了GB的存儲設備，甚至一些小的機構也需要存儲數GB的數據。自從本書第一版問世以來，全球資訊網爆炸般地創造了萬億位元組（terabytes）的公開數據，讓越來越多的人意識到處理如此大規模數據的難題是特別重要的。

管理如此大量數據主要需要面對兩個挑戰，這兩個挑戰都在本書中進行了討論。第一個挑戰是如何有效地存儲數據。這主要通過壓縮的方法來實現。第二個挑戰是提供一種通過關鍵字搜尋的方法來提供快速訪問信息的方法。因此，一個特別定製的索引尤為關鍵。傳統的壓縮和搜尋方法需要調整以適應這些挑戰。這也是本書中主要討論的兩個主題。本書討論的這些技術套用的結果是確保計算機系統可以存儲數百萬的文檔和能夠在秒級的時間內檢索到包含任給關鍵字（或關鍵字組合）的文檔，甚至可以在不到1s內完成查詢。

舉個例子來說明本書中所討論的這些方法的威力。掌握了這些方法後，你可以對數GB的文本創建一個資料庫，並且使用它來回響類似這樣的查詢請求，“在僅適用工作站的條件下，用數秒時間就能在全部文檔中檢索同時包含‘managing’和‘gigabytes’的段落”。事實上，如果能夠對文本創建恰當的索引，這並不是什麼神奇的事情。最令人著迷的是這些創建的資料庫（包括索引和完整文本），當然都是壓縮過的，只有不到原文本的一半大小。不僅如此，創建這樣一個資料庫只需要數小時即可。最令人驚訝的可能是如果數據集不壓縮的話，查詢時間還會更少。

大部分本書討論的技術都已經被提出、實驗和套用到實踐中。為快速搜尋和檢索而構造的文本索引被仔細地檢查過，這些信息構成了本書的核心。話題還包括文本壓縮和建模，壓縮圖像的方法，壓縮文本圖像（例如掃描或傳真文檔）和為了區分圖片圖表和文本而進行的頁面布局識別等。

全文索引不可避免會非常巨大，因此製作的成本也很高。然而，本書揭示了全部單詞，如果需要的話，還包括全部數字建立完整索引的奧秘，並闡述了如何用如此小的存儲代價支持如此快速的訪問能力的技巧。

本書的目標是介紹管理大量文檔和圖片數據集的最新方法。在閱讀本書以後，你將掌握這些技術並同時對它們的威力產生敬意。

管理海量數據——壓縮、索引和查詢（第2版）（經典再現全新修訂版）

基本介紹

編輯推薦

主要內容

目錄

相關詞條

熱門詞條