基本介紹
背景,基本概述,檢索分類,文本檢索,內容檢索,檢索方法,三個方向,立足於文本,立足於圖像內容,結合文本和內容,展望,
背景
從20世紀70年代開始，有關圖像檢索的研究就已開始，當時主要是基於文本的圖像檢索技術（Text-based Image Retrieval，簡稱TBIR），利用文本描述的方式描述圖像的特徵，如繪畫作品的作者、年代、流派、尺寸等。到90年代以後，出現了對圖像的內容語義，如圖像的顏色、紋理、布局等進行分析和檢索的圖像檢索技術，即基於內容的圖像檢索（Content-based Image Retrieval，簡稱CBIR）技術。CBIR屬於基於內容檢索（Content-based Retrieval，簡稱CBR）的一種，CBR中還包括對動態視頻、音頻等其它形式多媒體信息的檢索技術。
基本概述
在檢索原理上，無論是基於文本的圖像檢索還是基於內容的圖像檢索，主要包括三方面：一方面對用戶需求的分析和轉化，形成可以檢索索引資料庫的提問；另一方面，收集和加工圖像資源，提取特徵，分析並進行標引，建立圖像的索引資料庫；最後一方面是根據相似度算法，計算用戶提問與索引資料庫中記錄的相似度大小，提取出滿足閾值的記錄作為結果，按照相似度降序的方式輸出。
為了進一步提高檢索的準確性，許多系統結合相關反饋技術來收集用戶對檢索結果的反饋信息，這在CBIR中顯得更為突出，因為CBIR實現的是逐步求精的圖像檢索過程，在同一次檢索過程中需要不斷地與用戶進行互動。
檢索分類
文本檢索
基於文本的圖像檢索沿用了傳統文本檢索技術，迴避對圖像可視化元素的分析，而是從圖像名稱、圖像尺寸、壓縮類型、作者、年代等方面標引圖像，一般以關鍵字形式的提問查詢圖像，或者是根據等級目錄的形式瀏覽查找特定類目下的圖像，如Getty AAT使用近133,000個術語來描述藝術、藝術史、建築以及其它文化方面的對象，並推出30多個等級目錄，從7方面描述圖像的概念、物理屬性、類型和刊號等。又如Gograph）將圖像分為動態圖像、照片、圖示、背景、藝術剪輯圖、插圖、壁紙、界面、成套圖像8個一級類，下設數量不等的子類。在圖像數位化之前，檔案管理者、圖書管理員都是採用這種方式組織和管理圖像。 圖像所在頁面的主題、圖像的檔案名稱稱、與圖像密切環繞的文字內容、圖像的連結地址等都被用作圖像分析的依據，根據這些文本分析結果推斷其中圖像的特徵。
內容檢索
基於內容的圖像檢索系統一般包括圖像處理模組、查詢模組、對象庫和特徵庫和知識庫。
檢索方法
網路上的圖像檢索方法
根據基於文本的圖像檢索和基於內容的圖像檢索的實現原理可以發現，一般圖像檢索系統提供給用戶的查詢方法主要包括下列幾種形式：
關鍵字查找：關鍵字查找輸入關鍵字對查找圖像進行描述，大多數網路搜尋引擎提供的是關鍵字查找的方式檢索，例如，希望查找山水風景的圖片，可以輸入“山水畫”；又如希望查找關於貓的圖片，可以直接輸入“貓”。
瀏覽查找：瀏覽查找是指通過等級式類目組織的圖像檢索人口，圖像按照不同的主題進行歸類，用戶在查找自己希望的圖像時，通過點擊層層類目的連結，到達自己所希望的類目下的圖像。
特徵輸入查找：對圖像的特徵參數進行設定，如希望圖像中的色彩比例為“R：128 ； G：128； B：64”，或者是對圖像的明亮度在0～100%之間加以調節。
草圖查找：用戶親自動手繪製希望查找的圖像特徵，以用戶描繪的草圖為訓練樣本，查找與之相似的其它圖像。
示例查詢：包括系統隨機給出樣本和用戶提交樣本兩種，由系統隨機給出一組圖像訓練樣本時，讓用戶對這組圖像進行評價，選擇與自己的檢索需求相似的圖像，然後根據用戶選擇的圖像進行分析，檢出與之相似的其它圖像。另外，也可以由用戶提供一副圖像的地址信息，由圖像檢索系統即時抓取、即時分析。
歸納而言，圖像檢索的方法對應於圖像特徵的三個層次，也可以歸結為相應的三個層次：
簡單的可視化特徵層次：對圖像的簡單可視化特徵進行查詢，如顏色、紋理、形狀或者是圖像中元素的空間，這些特徵反應的一般是圖像本身客觀的一些屬性，因此，一般不需要任何外界知識的輔助。
中間的對象層次：對圖像的個體特徵進行查詢是介於簡單的可視化特徵查詢和高級的抽象語言特徵查詢的中間狀態，一般表現為對局部的特徵查詢，例如檢索圖像中的某個對象或者是某個人物等。這種查詢一般需要對識別和檢索的目標進行一定程度的邏輯推理，所以需要藉助外界知識的輔助。
高級抽象的特徵層次：對圖形的抽象屬性的查詢，包括檢索與某個事件或者是某個活動相關的圖像，例如查找反映某種情感色彩，或者是符合某種風格流派的圖像，這時需要對這些抽象的目標和場景所代表的意義進行分析，需要對其進行更高級的推理，同時這類特徵帶有較強的主觀色彩，因此，更需要外界知識的輔助。
三個方向
圖像檢索研究的三個方向
基於文本和基於內容是圖像檢索發展的兩個分支，不過從圖像檢索研究的趨勢而言，尤其結合網路環境下圖像的特徵——嵌入在具有文本內容的Web文檔中，出現了三個不同的研究著眼點。
立足於文本
立足於文本，對圖像進行檢索。試圖將傳統的文本檢索技術移植於對多媒體信息的檢索上，因為基於文本的檢索技術發展已經成熟。如Page-Rank方法、機率方法、位置方法、摘要方法、分類或聚類方法、詞性標註法等，不僅技術發展較為成熟，同時分析和實現的難度略小。但是因為受控辭彙本身的局限，易歧義，更新慢，所以不太容易應對網路上日新月異的各類圖像。
立足於圖像內容
立足於圖像內容，對圖像進行分析和檢索。相比而言，儘管圖像檢索已經出現了諸如直方圖、顏色矩、顏色集等多種表征圖像特徵的方法，但是要突破對低層次特徵的分析，實現更高語義上的檢索，實現難度大，進展慢。不過，基於內容的圖像檢索建立在多媒體信息的內容語義上，能夠更為客觀地反映媒體本質的特徵。
結合文本和內容
結合文本和內容，進行融合性研究。發揮各自的優勢促進圖像的高效、簡單檢索方式的實現，尤其是網路環境下，結合圖像所在Web文檔的特徵分析，推斷圖像的特徵，同時結合對圖像的內容分析，共同標引達到對圖像的分析和檢索。
可以說，三個方向都是相互影響和促進的，任何一個方向的進展都會促進圖像檢索技術向前更進一步。
展望
圖像檢索的發展是一個從簡單到複雜、從低級到高級的過程，從最初的文本信息查詢發展到基於內容的圖像檢索。同時隨著人們對圖像理解、圖像識別研究的不斷深入，提出了基於圖像語義的檢索,充分利用了圖像的語義信息, 提高了圖像檢索系統的能力。另外，為了解決語義鴻溝的問題，人們提出了基於反饋的信息檢索技術，利用人機互動行為，改進系統的能力，提高檢索結果的準確性。最後，隨著人工智慧和信息技術的發展，一種智慧型的基於知識的信息檢索系統成為信息檢索領域的發展方向。基於知識的信息檢索技術將基於視覺特徵和基於文本語義的技術結合在一起，通過建立知識庫，實現自動提取語義和圖像特徵的功能，並且充分考慮到用戶特徵對檢索系統的影響, 這是建立高效、實用、快速的圖像檢索系統的必然的發展方向。並且圖像檢索領域的關鍵問題是對人類視覺機制的進一步了解,即探求人是如何去感知圖像內容的, 這個問題的解決能夠進一步最佳化數據特徵索引技術, 解決對大規模資料庫檢索速度的瓶頸問題。隨著多媒體數據壓縮技術和網際網路的迅速發展，信息的形式多種多樣,視覺信息數據不僅包括單幅的圖像數據還包括視頻數據，針對視頻數據的特點，進行高速、可靠的檢索也是一個需要研究的課題。將信息檢索技術推向實用化, 也是信息技術發展的主要目標。
