度量熵

熵是刻畫巴拿赫空間中緊集“大小”或“粗細”的不變數之一，在函式逼近論中的套用研究開始於20世紀50年代，以後逐漸得到發展。區別於機率論中的同名概念，稱為集A的度量熵。

基本介紹

• 中文名：度量熵
• 外文名：metric entropy
• 適用範圍：數理科學

簡介

熵是刻畫巴拿赫空間中緊集“大小”或“粗細”的不變數之一。

熵在函式逼近論中的套用研究開始於20世紀50年代，以後逐漸得到發展。

ε覆蓋

設 X 是巴拿赫空間，x∈X，‖x‖表示 x 的範數，A 是X的緊子集，ε>0 是給定的正數，如果 是 X 的一族子集，每個 U_k 的直徑都不超過 2ε，亦即

而且

那么稱集族 是A的一個ε覆蓋。

定義

對於給定的ε> 0，A的ε覆蓋中集U_k的個數n是與這個集族的選取有關的，但n的最小值 卻是一個僅與ε有關的關於集A的不變數，即當A給定後，N_ε(A)是一個僅與ε有關的非負整數，人們稱數 為集A的熵，或者區別於機率論中的同名概念，稱H_ε(A)為集A的度量熵。

在函式逼近論中，關心的乃是當ε→0時H_ε(A)的漸近性態。之所以不直接考察數N_ε(A)而考察其對數H_ε(A)，是因為一般地ε→0時,，N_ε(A)急劇遞增，而且往往很大，不便處理。

另一提法

熵的概念還有另一種提法。因為定義的度量嫡H_ε(A)在ε>0給定時，僅取決於緊集A本身（倘若把A看做一個度量空間），而不依賴於包含A的大空間X。還有一種熵不僅取決於緊集A，亦與包含著A的大空間X有關，人們稱它為A關於X的熵。

其定義如下：仍設X是巴拿赫空間，A是X的緊子集，ε>0是給定的正數，如果X中存在有限個點,使得對於每個點x∈A，都至少有x_k使得，也即x與x_k的距離ρ(x,x_k)不超過ε:ρ(x,xx)≤ε，則稱集 為A的一個ε網。

集A的ε網中點的個數p在ε>0給定後，自然與這些點的取法有關。但是p的最小值P_ε(A) = min p卻是集A的一個不變數。它當然與空間X有關，稱數 為A關於X的熵。

H_ε(A)與 有一個簡明的關係：對於每於ε>0 及X的每個緊子集A，。