信息是什麼，通過這本書您會有更加深刻的領悟。
本書向您呈現科學理解信息現象的一個新方法——一般資訊理論。基於自然界、技術和社會裡信息過程的透徹分析，基於資訊理論里的主要方向，這個理論將已有的方向綜合到一個統一的系統中。本書闡釋了這個理論如何為下列學科開創了新的機遇，這些學科有信息技術、信息科學、計算機科學、知識工程、心理學、語言學、社會科學和教育學。
本書對於資訊理論中主要的基於數學的研究方向也做了廣泛的介紹。對於資訊理論研究中已有的方向，一般資訊理論提供了一個統一的語境，這樣有可能詳細說明信息的全面定義，這個理論解釋了信息、數據和知識之間的關係；論證了信息的不同數學模型如何與信息過程相關聯。
基本介紹
內容簡介,目錄,序言,文摘,
內容簡介
本書中給出了信息本質和功用的解釋，以及如下問題的答案：
信息如何聯繫與知識和數據；
如何用數學結構建模信息；
這些模型如何用於更好地理解計算機和網際網路、認知和教育、通信和計算。
雖然資訊理論的書籍在國內外出版了不少，但本書與它們有極大的不同，本書的書名也反映出這一點，從內容比較，更是相去甚遠，學術思想、內容範圍、結構體系都不一樣。這本書信息量非常大，涉及多個學科方向，所述內容是資訊理論的基礎問題，具有很高的學術價值。本書引入了國外資訊理論的新近成果，將開拓國內學者的研究思路。本書是國內引進的第一本這類書籍。這本書可以做為專業研究者的參考書籍，對於想探究信息概念本質問題的讀者，本書也頗為裨益。
目錄
第一章 導 論…001
1.1 我們如何知道信息是什麼…001
1.2 社會中的信息…014
1.3 自然界中的信息…019
1.4 信息的技術層面…022
1.5 本書的結構…026
第二章 一般資訊理論…031
2.1 標記、符號與世界…033
2.2 信息是什麼：信息本體論…054
2.3 如何度量信息：信息價值論…075
2.4 信息的類型和屬性：信息類型學…083
2.5 信息、數據和知識…104
2.6 情緒與信息…127
第三章 統計資訊理論…147
3.1 信息與通信…148
3.2 信息與熵…154
3.3 量子信息…160
3.4 信息與問題解決…164
3.5 信息測量的公理化…166
3.6 物理學裡的信息…169
第四章 語義資訊理論…175
4.1 信息的三個方面…176
4.2 巴希勒和卡爾納普、辛提卡及其他人的
邏輯方法：信息中的邏輯學…183
4.3 麥凱、施賴德爾、布魯克斯、米扎羅及其他人的
基於知識的方法：從信息中得到的知識…192
第五章 算法資訊理論…211
5.1 信息、算法和複雜度…212
5.2 基於遞歸算法的算法資訊理論：遞歸方法…218
5.3 基於歸納算法的算法資訊理論：歸納方法…225
5.4 作為相對信息度量的條件信息尺度：相對論的方法…231
5.5 雙重複雜度與信息度量：算法資訊理論中的公理化方法…233
第六章 語用資訊理論…243
6.1 馬爾薩克的經濟學方法：信息成本…243
6.2 面向任務的方法：信息的價值、成本和質量…247
6.3 馬祖爾的變換方法：信息的推動力…268
第七章 信息動力學…273
7.1 德雷斯克、巴威斯和塞利格曼方法中的信息流：信息過程…274
7.2 察科津的運算元方法：信息作用…285
7.3 信息代數與信息幾何…293
7.3.1 詮釋的信息代數…294
7.3.2 抽象信息代數…319
7.3.3 信息幾何學…323
第八章 總 結…327
附 錄 資訊理論的數學基礎…333
附錄A 集合論基礎…333
附錄B 算法論要義…339
附錄C 邏輯學要義…342
附錄D 代數與範疇論要義…347
附錄E 機率論要義…350
附錄F 數字與數值函式…353
附錄G 拓撲、度量和賦范空間…354
參考文獻…357
致謝…417
主題詞索引…418
1.1 我們如何知道信息是什麼…001
1.2 社會中的信息…014
1.3 自然界中的信息…019
1.4 信息的技術層面…022
1.5 本書的結構…026
第二章 一般資訊理論…031
2.1 標記、符號與世界…033
2.2 信息是什麼：信息本體論…054
2.3 如何度量信息：信息價值論…075
2.4 信息的類型和屬性：信息類型學…083
2.5 信息、數據和知識…104
2.6 情緒與信息…127
第三章 統計資訊理論…147
3.1 信息與通信…148
3.2 信息與熵…154
3.3 量子信息…160
3.4 信息與問題解決…164
3.5 信息測量的公理化…166
3.6 物理學裡的信息…169
第四章 語義資訊理論…175
4.1 信息的三個方面…176
4.2 巴希勒和卡爾納普、辛提卡及其他人的
邏輯方法：信息中的邏輯學…183
4.3 麥凱、施賴德爾、布魯克斯、米扎羅及其他人的
基於知識的方法：從信息中得到的知識…192
第五章 算法資訊理論…211
5.1 信息、算法和複雜度…212
5.2 基於遞歸算法的算法資訊理論：遞歸方法…218
5.3 基於歸納算法的算法資訊理論：歸納方法…225
5.4 作為相對信息度量的條件信息尺度：相對論的方法…231
5.5 雙重複雜度與信息度量：算法資訊理論中的公理化方法…233
第六章 語用資訊理論…243
6.1 馬爾薩克的經濟學方法：信息成本…243
6.2 面向任務的方法：信息的價值、成本和質量…247
6.3 馬祖爾的變換方法：信息的推動力…268
第七章 信息動力學…273
7.1 德雷斯克、巴威斯和塞利格曼方法中的信息流：信息過程…274
7.2 察科津的運算元方法：信息作用…285
7.3 信息代數與信息幾何…293
7.3.1 詮釋的信息代數…294
7.3.2 抽象信息代數…319
7.3.3 信息幾何學…323
第八章 總 結…327
附 錄 資訊理論的數學基礎…333
附錄A 集合論基礎…333
附錄B 算法論要義…339
附錄C 邏輯學要義…342
附錄D 代數與範疇論要義…347
附錄E 機率論要義…350
附錄F 數字與數值函式…353
附錄G 拓撲、度量和賦范空間…354
參考文獻…357
致謝…417
主題詞索引…418
序言
前 言
我們在這個新領域啟航，因為那裡有可以獲得的知識。
約翰·F·甘迺迪（John F. Kennedy）（1917—1963）
生活中最成功的人通常是那些擁有最佳信息的人。
班傑明·迪斯累里（Benjamin Disraeli）（1804—1881）
有一個古希臘傳說，講的是神秘的動物斯芬克斯，他禍害著底比斯這座城市。斯芬克斯總是照例詢問路人一個謎語，凡是回答不上來的人就被這個怪獸一把抓住吃掉。英雄俄狄浦斯走到斯芬克斯面前要求它講個謎語，它剛一講完，俄狄浦斯就說出了正確答案，聽到答案，斯芬克斯消失了，從此終結了它對人們的威脅。
現在人們遇到了一個新的神秘的斯芬克斯——技術的發展，這個現代的斯芬克斯詢問這樣的問題：什麼是信息？它如何起作用？對於這問題人們如果找不到正確答案，技術就會威脅到人類的生存，因為人們變得越來越依賴信息技術。正因為如此，對於人類社會而言，信息的重要性日益激增，以致我們的時代被稱為“資訊時代”（Giuliano，1983；Goguen，1997；Mason，1986；Crawford和Bray-Crawford，1995；Stephanidis，2000）。至少從20世紀中期開始人們普遍認為自己就開始生活在資訊時代，信息不僅構成了大多數工業部門的基礎，而且更重要的是它變成了基本的可貿易的資源和商品（Macgregor，2005）。事實上，沒有哪個人類經驗的方面不受信息影響。
例如，馬丁（Martin，1995）承認信息起著社會命脈的作用，他寫道：
假如沒有生命攸關資源[信息]的不間斷的流動，正像我們所知道的，社會將很快陷入困境，商業和工業、教育、休閒、旅行、通信、國家和國際事務全都易受破壞，在更發達的社會，由於對信息力量和通信技術的依賴性的不斷增加，這種易損性被加強了。
信息充斥在我們周圍，也存在於我們體內，我們的感覺器官收集它，我們醒著的每一秒，我們的大腦過濾、組織和處理信息，信息使得我們的生活成為可能。
從網際網路產生以來，人類可用的信息量呈指數量級增長，雖然全球資訊網只是從1995年開始被普遍地使用，但是幾年下來它完全征服了所有現存的媒體而成為主要的信息傳遞機制（Duff，2003）。
每年估計有1~2艾位元組（exabytes）（1 exabytes等於1018位元組）的新信息產生（和存儲），這包括所有的信息存儲媒體：書、雜誌、文檔、網際網路、Pc機、照片、X射線、電視、廣播、音樂、CD、DVD等，全球人均信息大約是250兆位元組（megabytes），但是大多數信息是數位化的（準確地講占93%）。
估計印刷品占240太位元組（terabytes）（1 terabyte等於1015位元組），這個數量小於新信息總存儲量的1%，儘管如此，每年大約有75億件辦公文檔印刷品，接近1百萬種圖書、40 000種日報和80 000種雜誌。
與此同時，信息質量的缺陷致使各個公司、組織和整個經濟付出沉重代價，據估計僅美國經濟每年增加花費6000億美元（Hill，2004）。
在過去的50年間，信息這個術語成功地滲透進了科學、技術、人文學科、經濟、政治，以及日常生活。政府、公司和一些個人都花費了巨大的財富去獲得必需的信息。然而，關於這個術語的使用還有很多問題，正如葛根（Goguen，1997）所寫的那樣，“我們生活在一個‘資訊時代’，但是，沒有信息理論，甚至沒有信息的定義能足夠廣泛而精確地做出有意義的斷言”。事實上，來自廣泛信息源的極大信息量使我們難以招架。這些信息源有全球資訊網、電子郵件、圖像、講話、文檔、書、報紙，等等。如勒文施泰因（Loewenstein，1999）認為，“信息流……是生活的原動力，流動線上路里的分子信息產生了我們稱為‘有機體’的組織，並維持它抵抗物理世界裡一直存在的解構壓力，地球上的每個生命體都有它自身DNA編碼信息決定的結構。”
同時，我們的經驗證明，對信息概念的世俗理解可能是非常有誤導性的，例如，許多人認為信息等同於訊息，然而，當收到一個由隨機字母序列構成的訊息時，一個人沒有得到信息，於是，存在沒有信息的訊息。證明訊息和信息本質不同的另一個例子是這樣一種情況，一個同樣的訊息對不同的人傳遞不同的信息。於是，就像科學上經常發生的那樣，為了克服信息世俗概念的限制，主要的問題是找到和建立正確的理論。
審視信息科學，我們發現一個奇怪情形，一方面，它有許多理論，科學家創造了大量的信息理論：香儂的統計信息理論、語義信息理論、動態信息理論、定性信息理論、馬爾薩克（Marschak）的經濟信息理論、實用信息理論、費希爾（Fisher）的統計信息理論、演算信息理論，等等。研究者研究信息生態學（Davenport，1997）和信息經濟學（Marschak，1959；1964； Arrow，1984；Godin，2008），建立了信息代數（Burgin，1997b；Kohlas，2003）、信息幾何學（Amari and Nagaoka，1985）、信息邏輯（Van Rijsbergen，1986；1989；Demri和Orlowska，1999）、信息演算（Van Rijsbergen和Laimas，1996）、信息物理學（Stonier，1990；Siegfried，2000；Pattee，2006）和信息哲學（Herold，2004），每年有關信息問題的書籍大量出版，發表的論文有幾千篇，但是仍然不知道信息是什麼。另外，如權威書籍《信息政策和科學研究》（1986）的介紹中所寫，“我們的主要問題是我們不真正知道信息是什麼”。
再者，由於在“信息”名下所考慮的現象異常多樣，一些研究者得出結論，不可能有一個全面概括的信息定義以及建立一個統一的資訊理論（Capuro，Fleissner和 Hofkirchner，1999；Melik-Gaikazyan，1997）。
對信息沒有充分認知的情況是十分危險的，因為社會越來越依賴於信息處理。計算機正變得體積更小、更便宜、易連線和無所不在。同時，網際網路的影響持續增加，計算機為人們解決了許多問題，如嵌入設備控制著汽車、飛機、輪船和太空飛行器。弗思（Furth，1994）寫道：“在1991年，公司在計算和通信設備（新時代的重要商品）上的花費第一次超過在工業、礦業、農業和建築業的機械上的花費。目前信息技術至關重要，並且經常不為我們所察覺，如同我們呼吸的空氣，空氣里充滿了無線電波，可我們沒有感覺到。坐在一輛小汽車裡，你注意到價值675美元的鋼鐵在你周圍，而不是價值782美元的微電子電路。”
“什麼是信息？”被挑選出來作為最深刻和最普遍的計算機科學問題，溫（Wing，2008）寫道，它反映了更加深遠的問題，這樣的問題驅使著人類日復一日地研究，驅使著研究人員不斷研究並擴展計算的前沿領域。
正如我們看到的，信息概念是人類大腦創造出來的最偉大的思想之一，我們的任務是使得這個概念整體完全精確。例如，斯托尼爾（Stonier，1996） 把信息作為宇宙具有的一個基本性質來研究。
信息處理支配著社會，滲透進每個生活領域。少量的信息能導致整個地球的毀滅，因為按一個小按鈕就能發動一場核戰爭。馮·拜爾（Von Baeyer，2004）認為，信息是科學的本質，而當代社會基於現代技術，現代技術基於科學。這樣，意識到信息是種現象、知道信息處理的規律並使用這些知識造福人類至關重要。斯托尼爾（1991）和其他研究者強調，信息科學急切需要信息理論。
完成這個知識和建立這樣一種理論的眾多努力反映在研究信息的文獻里，在信息方面有許多優秀的、好的和一般的書籍，每年出現大量涉及信息處理的書籍，所以，筆者有必要說明為什麼這本書與已經出版的大量各類信息方面的圖書不同。
本書的主要目標不是像別的書籍那樣論證一系列成熟定理，不是描述一種或兩種（甚至最流行的）理解和信息建模現象的方式，本書的目的在於找到綜合理解信息現象的方法和創建一般信息理論，這個理論能夠把已有信息理論囊括進一個統一的理論體系。以此為目標，本書在介紹了一般資訊理論之後，將主要注意力放在了最流行的、具有可靠數學核心的信息理論上，這使得讀者理解一般資訊理論的同時，能夠清楚怎樣統一信息研究的已有知識。
從這個視角看，本書有三重目的：（1）提供信息理論里主要的基於數學的方向；（2）分析和綜合已有的方向，用稱為一般資訊理論的新方法把它們合併到一個統一的系統中；（3）使信息技術、信息科學、計算機科學、知識工程、心理學、語言學、社會科學和教育的綜合成為可能。
在本書的第一章導論部分我們分析了信息研究和信息處理的現狀，討論了和信息及信息處理理論有關的問題與難題。此處在本書第一章導論部分，為了發展一種有效和高效的理論，對於自然界、技術和社會領域的信息處理，我們需要做一個詳盡的分析。
關於這個分析以及對已有信息理論當中核心思想綜合的詳細論述是我們向一般資訊理論邁出的自然一步。本書的第二章呈現了一般資訊理論基礎，這個理論提供了一個綜合其他信息理論和統一我們關於信息、信息系統和信息過程知識的基礎，它有可能戰勝某些人聲稱不可能有統一的資訊理論的爭論。
在阿瑟·克拉克（Arthur Clarke，1962）看來，發現可能邊限的唯一方法是冒險越界進入一點不可能。在一般資訊理論里，對帶有一個特定系統參數的信息使用參數化方法實現了這一觀點，這個特定系統參數被稱為信息邏輯系統，這個方法提供了對信息的一個更好理解、更高效的理論開發和實際套用。書中描寫了以前未知的新信息類型的發現。此外，第二章還說明了一般資訊理論在不同領域的套用，從知識管理的角度發現並分析了知識和信息之間的關係。教育中信息的作用變得越來越清晰，這改變了我們對教育過程的理解。在個體機能方面，信息的作用得到說明並證明了新的信息類型的存在。
本書的其他章包含了最重要的發展方法和特殊的信息理論，並從一般資訊理論給出的一般視角呈現它們。我們的重點放在基於數學導向的理論。我們研究這些理論：統計資訊理論（包括香儂理論和它的新近發展）、關於信息的費希爾方法以及該方法在物理學上的套用、算法資訊理論、語義資訊理論和質量資訊理論的不同版本。展現了廣泛的信息理論群，說明了許多研究，這些研究超出了香儂資訊理論或香儂通信理論的最流行的方向。一般資訊理論不僅允許人們統一理論方向的多樣性，並且引導人們進行理論結果的套用和開發。
本書的基本讀者包括大學生和研究生，信息技術專業人員，信息科學、計算機科學、知識工程、認知科學、哲學、人工智慧、心理學、語言學、生物信息學、社會科學和教育學的研究者，信息技術專家將會接觸到資訊理論為他們的專業研究活動提供的工具，這些專業活動包括設計軟體、開發計算機、套用計算機解決各種問題，以及開發全球和本地網路。
有必要告訴那些喜歡了解信息本質又不想應付數學公式的潛在讀者，儘管書中有許多公式，但同時本書提供了這樣的機會，跳過這些公式，仍然可以得到關於信息現象的許多信息。這樣構建使得讀者可以達到幾個理解層次，忽略公式可以達到第一個層次，對基本公式的理解使讀者達到第二個層次，命題和定理形式公式化的數學結果將讀者的理解提升到第三個層次。
我們在這個新領域啟航，因為那裡有可以獲得的知識。
約翰·F·甘迺迪（John F. Kennedy）（1917—1963）
生活中最成功的人通常是那些擁有最佳信息的人。
班傑明·迪斯累里（Benjamin Disraeli）（1804—1881）
有一個古希臘傳說，講的是神秘的動物斯芬克斯，他禍害著底比斯這座城市。斯芬克斯總是照例詢問路人一個謎語，凡是回答不上來的人就被這個怪獸一把抓住吃掉。英雄俄狄浦斯走到斯芬克斯面前要求它講個謎語，它剛一講完，俄狄浦斯就說出了正確答案，聽到答案，斯芬克斯消失了，從此終結了它對人們的威脅。
現在人們遇到了一個新的神秘的斯芬克斯——技術的發展，這個現代的斯芬克斯詢問這樣的問題：什麼是信息？它如何起作用？對於這問題人們如果找不到正確答案，技術就會威脅到人類的生存，因為人們變得越來越依賴信息技術。正因為如此，對於人類社會而言，信息的重要性日益激增，以致我們的時代被稱為“資訊時代”（Giuliano，1983；Goguen，1997；Mason，1986；Crawford和Bray-Crawford，1995；Stephanidis，2000）。至少從20世紀中期開始人們普遍認為自己就開始生活在資訊時代，信息不僅構成了大多數工業部門的基礎，而且更重要的是它變成了基本的可貿易的資源和商品（Macgregor，2005）。事實上，沒有哪個人類經驗的方面不受信息影響。
例如，馬丁（Martin，1995）承認信息起著社會命脈的作用，他寫道：
假如沒有生命攸關資源[信息]的不間斷的流動，正像我們所知道的，社會將很快陷入困境，商業和工業、教育、休閒、旅行、通信、國家和國際事務全都易受破壞，在更發達的社會，由於對信息力量和通信技術的依賴性的不斷增加，這種易損性被加強了。
信息充斥在我們周圍，也存在於我們體內，我們的感覺器官收集它，我們醒著的每一秒，我們的大腦過濾、組織和處理信息，信息使得我們的生活成為可能。
從網際網路產生以來，人類可用的信息量呈指數量級增長，雖然全球資訊網只是從1995年開始被普遍地使用，但是幾年下來它完全征服了所有現存的媒體而成為主要的信息傳遞機制（Duff，2003）。
每年估計有1~2艾位元組（exabytes）（1 exabytes等於1018位元組）的新信息產生（和存儲），這包括所有的信息存儲媒體：書、雜誌、文檔、網際網路、Pc機、照片、X射線、電視、廣播、音樂、CD、DVD等，全球人均信息大約是250兆位元組（megabytes），但是大多數信息是數位化的（準確地講占93%）。
估計印刷品占240太位元組（terabytes）（1 terabyte等於1015位元組），這個數量小於新信息總存儲量的1%，儘管如此，每年大約有75億件辦公文檔印刷品，接近1百萬種圖書、40 000種日報和80 000種雜誌。
與此同時，信息質量的缺陷致使各個公司、組織和整個經濟付出沉重代價，據估計僅美國經濟每年增加花費6000億美元（Hill，2004）。
在過去的50年間，信息這個術語成功地滲透進了科學、技術、人文學科、經濟、政治，以及日常生活。政府、公司和一些個人都花費了巨大的財富去獲得必需的信息。然而，關於這個術語的使用還有很多問題，正如葛根（Goguen，1997）所寫的那樣，“我們生活在一個‘資訊時代’，但是，沒有信息理論，甚至沒有信息的定義能足夠廣泛而精確地做出有意義的斷言”。事實上，來自廣泛信息源的極大信息量使我們難以招架。這些信息源有全球資訊網、電子郵件、圖像、講話、文檔、書、報紙，等等。如勒文施泰因（Loewenstein，1999）認為，“信息流……是生活的原動力，流動線上路里的分子信息產生了我們稱為‘有機體’的組織，並維持它抵抗物理世界裡一直存在的解構壓力，地球上的每個生命體都有它自身DNA編碼信息決定的結構。”
同時，我們的經驗證明，對信息概念的世俗理解可能是非常有誤導性的，例如，許多人認為信息等同於訊息，然而，當收到一個由隨機字母序列構成的訊息時，一個人沒有得到信息，於是，存在沒有信息的訊息。證明訊息和信息本質不同的另一個例子是這樣一種情況，一個同樣的訊息對不同的人傳遞不同的信息。於是，就像科學上經常發生的那樣，為了克服信息世俗概念的限制，主要的問題是找到和建立正確的理論。
審視信息科學，我們發現一個奇怪情形，一方面，它有許多理論，科學家創造了大量的信息理論：香儂的統計信息理論、語義信息理論、動態信息理論、定性信息理論、馬爾薩克（Marschak）的經濟信息理論、實用信息理論、費希爾（Fisher）的統計信息理論、演算信息理論，等等。研究者研究信息生態學（Davenport，1997）和信息經濟學（Marschak，1959；1964； Arrow，1984；Godin，2008），建立了信息代數（Burgin，1997b；Kohlas，2003）、信息幾何學（Amari and Nagaoka，1985）、信息邏輯（Van Rijsbergen，1986；1989；Demri和Orlowska，1999）、信息演算（Van Rijsbergen和Laimas，1996）、信息物理學（Stonier，1990；Siegfried，2000；Pattee，2006）和信息哲學（Herold，2004），每年有關信息問題的書籍大量出版，發表的論文有幾千篇，但是仍然不知道信息是什麼。另外，如權威書籍《信息政策和科學研究》（1986）的介紹中所寫，“我們的主要問題是我們不真正知道信息是什麼”。
再者，由於在“信息”名下所考慮的現象異常多樣，一些研究者得出結論，不可能有一個全面概括的信息定義以及建立一個統一的資訊理論（Capuro，Fleissner和 Hofkirchner，1999；Melik-Gaikazyan，1997）。
對信息沒有充分認知的情況是十分危險的，因為社會越來越依賴於信息處理。計算機正變得體積更小、更便宜、易連線和無所不在。同時，網際網路的影響持續增加，計算機為人們解決了許多問題，如嵌入設備控制著汽車、飛機、輪船和太空飛行器。弗思（Furth，1994）寫道：“在1991年，公司在計算和通信設備（新時代的重要商品）上的花費第一次超過在工業、礦業、農業和建築業的機械上的花費。目前信息技術至關重要，並且經常不為我們所察覺，如同我們呼吸的空氣，空氣里充滿了無線電波，可我們沒有感覺到。坐在一輛小汽車裡，你注意到價值675美元的鋼鐵在你周圍，而不是價值782美元的微電子電路。”
“什麼是信息？”被挑選出來作為最深刻和最普遍的計算機科學問題，溫（Wing，2008）寫道，它反映了更加深遠的問題，這樣的問題驅使著人類日復一日地研究，驅使著研究人員不斷研究並擴展計算的前沿領域。
正如我們看到的，信息概念是人類大腦創造出來的最偉大的思想之一，我們的任務是使得這個概念整體完全精確。例如，斯托尼爾（Stonier，1996） 把信息作為宇宙具有的一個基本性質來研究。
信息處理支配著社會，滲透進每個生活領域。少量的信息能導致整個地球的毀滅，因為按一個小按鈕就能發動一場核戰爭。馮·拜爾（Von Baeyer，2004）認為，信息是科學的本質，而當代社會基於現代技術，現代技術基於科學。這樣，意識到信息是種現象、知道信息處理的規律並使用這些知識造福人類至關重要。斯托尼爾（1991）和其他研究者強調，信息科學急切需要信息理論。
完成這個知識和建立這樣一種理論的眾多努力反映在研究信息的文獻里，在信息方面有許多優秀的、好的和一般的書籍，每年出現大量涉及信息處理的書籍，所以，筆者有必要說明為什麼這本書與已經出版的大量各類信息方面的圖書不同。
本書的主要目標不是像別的書籍那樣論證一系列成熟定理，不是描述一種或兩種（甚至最流行的）理解和信息建模現象的方式，本書的目的在於找到綜合理解信息現象的方法和創建一般信息理論，這個理論能夠把已有信息理論囊括進一個統一的理論體系。以此為目標，本書在介紹了一般資訊理論之後，將主要注意力放在了最流行的、具有可靠數學核心的信息理論上，這使得讀者理解一般資訊理論的同時，能夠清楚怎樣統一信息研究的已有知識。
從這個視角看，本書有三重目的：（1）提供信息理論里主要的基於數學的方向；（2）分析和綜合已有的方向，用稱為一般資訊理論的新方法把它們合併到一個統一的系統中；（3）使信息技術、信息科學、計算機科學、知識工程、心理學、語言學、社會科學和教育的綜合成為可能。
在本書的第一章導論部分我們分析了信息研究和信息處理的現狀，討論了和信息及信息處理理論有關的問題與難題。此處在本書第一章導論部分，為了發展一種有效和高效的理論，對於自然界、技術和社會領域的信息處理，我們需要做一個詳盡的分析。
關於這個分析以及對已有信息理論當中核心思想綜合的詳細論述是我們向一般資訊理論邁出的自然一步。本書的第二章呈現了一般資訊理論基礎，這個理論提供了一個綜合其他信息理論和統一我們關於信息、信息系統和信息過程知識的基礎，它有可能戰勝某些人聲稱不可能有統一的資訊理論的爭論。
在阿瑟·克拉克（Arthur Clarke，1962）看來，發現可能邊限的唯一方法是冒險越界進入一點不可能。在一般資訊理論里，對帶有一個特定系統參數的信息使用參數化方法實現了這一觀點，這個特定系統參數被稱為信息邏輯系統，這個方法提供了對信息的一個更好理解、更高效的理論開發和實際套用。書中描寫了以前未知的新信息類型的發現。此外，第二章還說明了一般資訊理論在不同領域的套用，從知識管理的角度發現並分析了知識和信息之間的關係。教育中信息的作用變得越來越清晰，這改變了我們對教育過程的理解。在個體機能方面，信息的作用得到說明並證明了新的信息類型的存在。
本書的其他章包含了最重要的發展方法和特殊的信息理論，並從一般資訊理論給出的一般視角呈現它們。我們的重點放在基於數學導向的理論。我們研究這些理論：統計資訊理論（包括香儂理論和它的新近發展）、關於信息的費希爾方法以及該方法在物理學上的套用、算法資訊理論、語義資訊理論和質量資訊理論的不同版本。展現了廣泛的信息理論群，說明了許多研究，這些研究超出了香儂資訊理論或香儂通信理論的最流行的方向。一般資訊理論不僅允許人們統一理論方向的多樣性，並且引導人們進行理論結果的套用和開發。
本書的基本讀者包括大學生和研究生，信息技術專業人員，信息科學、計算機科學、知識工程、認知科學、哲學、人工智慧、心理學、語言學、生物信息學、社會科學和教育學的研究者，信息技術專家將會接觸到資訊理論為他們的專業研究活動提供的工具，這些專業活動包括設計軟體、開發計算機、套用計算機解決各種問題，以及開發全球和本地網路。
有必要告訴那些喜歡了解信息本質又不想應付數學公式的潛在讀者，儘管書中有許多公式，但同時本書提供了這樣的機會，跳過這些公式，仍然可以得到關於信息現象的許多信息。這樣構建使得讀者可以達到幾個理解層次，忽略公式可以達到第一個層次，對基本公式的理解使讀者達到第二個層次，命題和定理形式公式化的數學結果將讀者的理解提升到第三個層次。
文摘
本書向你呈現了科學理解信息現象的一個新方法——一般資訊理論。基於對自然、技術和社會中信息過程的深層次分析，以及對資訊理論里的主要方向的研究，這個理論將已有的方向綜合到一個統一的系統中。本書說明了這個理論如何為信息技術、信息科學、計算機科學、知識工程、心理學、語言學、社會科學和教育學等學科開創了新的機遇。
本書對於資訊理論中主要基於數學的方向也給予了廣泛的介紹。對於資訊理論研究中已有的方向，一般資訊理論提供了一個統一的語境，這樣詳細說明全面的信息定義就成為了可能。這個理論解釋了信息、數據及知識之間的關係，論證了信息的不同數學模型如何與信息過程相關聯。
