為了克服基於簡單視覺特徵的圖像檢索方法的不足，人們提出了基於語義的圖像檢索方法，與基於低層物理特徵查詢不同“語義特徵查詢是基於文字的查詢”包含了自然語言處理和傳統圖像檢索技術。
這種檢索方法的目標是最大限度地減小圖像簡單視覺特徵與豐富的語義之間的語義鴻溝，縮小語義鴻溝的辦法有(種)由高層語義導出低層特徵和由低層特徵向高層語義的轉換圖像語義具有模糊性、複雜性、抽象性，一般包括3個語義層次：特徵語義、目標和空間關係語義、高層語義。特徵語義就是圖像的顏色、形狀、紋理等低級視覺特徵，與視覺感知直接相連；目標語義和空間關係語義需要識別和提取圖像中的目標類別、目標之間的空間位置等關係，涉及到模式識別和邏輯推理的相關技術；高層語義主要涉及圖像的場景語義（如海濱、街道、室內等）、行為語義（如表演、超越、進攻等）和情感語義（如平靜、和諧、振奮等）。一般而言，高層的圖像語義往往建立在較低層次的語義獲得的基礎上，並且層次越高，語義越複雜，涉及的領域知識越多。
基於語義的圖像檢索一般指的是基於目標和高級語義的圖像檢索方法。在原有檢索系統中加入高級語義到低層特徵的轉化，可以在不改變現有的圖像特徵庫和匹配方式的情況下，實現基於語義的圖像檢索。
