逆文檔頻率（IDF inverse document frequency）又稱反文檔頻率，是文檔頻率的倒數，主要用於概念TF-IDF（term frequency–inverse document frequency）中。
基本介紹
- 中文名：逆文檔頻率
- 外文名：IDF inverse document frequency
- 別稱：反文檔頻率，又稱為最初概念
- 性質：一種用於資訊檢索與資訊探勘的常
逆文檔頻率,例子,理論依據,
逆文檔頻率
TF-IDF（term frequency–inverse document frequency）是一種用於資訊檢索與資訊探勘的常用加權術。TF-IDF是一種統計方法，用以評估一字詞對於一個檔案集或一個語料庫中的其中一份檔案的重要程度。字詞的重要性隨著它在檔案中出現的次數成正比增加，但同時會隨著它在語料庫中出現的頻率成反比下降。TF-IDF加權的各種形式常被搜尋引擎套用，作為檔案與用戶查詢之間相關程度的度量或評級。除了TF-IDF以外，網際網路上的搜尋引擎還會使用基於連結分析的評級方法，以確定檔案在搜尋結果中出現的順序。 TFIDF的主要思想是：如果某個詞或短語在一篇文章中出現的頻率TF高，並且在其他文章中很少出現，則認為此詞或者短語具有很好的類別區分能力，適合用來分類。TFIDF實際上是：TF * IDF，TF詞頻(Term Frequency)，IDF反文檔頻率(Inverse Document Frequency)。TF表示詞條在文檔d中出現的頻率。IDF的主要思想是：如果包含詞條t的文檔越少，也就是n越小，IDF越大，則說明詞條t具有很好的類別區分能力。如果某一類文檔C中包含詞條t的文檔數為m，而其它類包含t的文檔總數為k，顯然所有包含t的文檔數n=m+k，當m大的時候，n也大，按照IDF公式得到的IDF的值會小，就說明該詞條t類別區分能力不強。但是實際上，如果一個詞條在一個類的文檔中頻繁出現，則說明該詞條能夠很好代表這個類的文本的特徵，這樣的詞條應該給它們賦予較高的權重，並選來作為該類文本的特徵詞以區別與其它類文檔。這就是IDF的不足之處。
例子
有很多不同的數學公式可以用來計算TF- IDF。詞頻 (TF) 是一詞語出現的次數除以該檔案的總詞語數。假如一篇檔案的總詞語數是100個，而詞語“母牛”出現了3次，那么“母牛”一詞在該檔案中的詞頻就是 0.03 (3/100)。一個計算檔案頻率 (DF) 的方法是測定有多少份檔案出現過“母牛”一詞，然後除以檔案集裡包含的檔案總數。所以，如果“母牛”一詞在1,000份檔案出現過，而檔案總數是 10,000,000份的話，其檔案頻率就是 0.0001 (1000/10,000,000)。最後，TF-IDF分數就可以由計算詞頻除以檔案頻率而得到。以上面的例子來說，“母牛”一詞在該檔案集的TF- IDF分數會是 300 (0.03/0.0001)。這條公式的另一個形式是將檔案頻率取對數。
理論依據
TFIDF算法是建立在這樣一個假設之上的：對區別文檔最有意義的詞語應該是那些在文檔中出現頻率高，而在整個文檔集合的其他文檔中出現頻率少的詞語，所以如果特徵空間坐標系取TF詞頻作為測度，就可以體現同類文本的特點。另外考慮到單詞區別不同類別的能力，TFIDF法認為一個單詞出現的文本頻數越小，它區別不同類別文本的能力就越大。因此引入了逆文本頻度IDF的概念，以TF和IDF的乘積作為特徵空間坐標系的取值測度，並用它完成對權值TF的調整，調整權值的目的在於突出重要單詞，抑制次要單詞。但是在本質上IDF是一種試圖抑制噪音的加權 ，並且單純地認為文本頻數小的單詞就越重要，文本頻數大的單詞就越無用，顯然這並不是完全正確的。IDF的簡單結構並不能有效地反映單詞的重要程度和特徵詞的分布情況，使其無法很好地完成對權值調整的功能，所以TFIDF法的精度並不是很高。 此外，在TFIDF算法中並沒有體現出單詞的位置信息，對於Web文檔而言，權重的計算方法應該體現出HTML的結構特徵。特徵詞在不同的標記符中對文章內容的反映程度不同，其權重的計算方法也應不同。因此應該對於處於網頁不同位置的特徵詞分別賦予不同的係數，然後乘以特徵詞的詞頻，以提高文本表示的效果。
