基本介紹
Oracle Text 全文檢索,Oracle 的體系架構,簡單的示例,文本裝載,為文本建立索引,查詢,詞查詢示例,ABOUT查詢示例,滿足查詢條件的文檔,索引維護,小結,
Oracle Text 全文檢索
Oracle一直致力於全文檢索技術的研究，當Oracle9i Rlease2發布之時，Oracle資料庫的全文檢索技術已經非常完美，Oracle Text使Oracle9i具備了強大的文本檢索能力和智慧型化的文本管理能力。Oracle Text是Oracle9i採用的新名稱，在Oracle8/8i中它被稱作Oracle interMedia Text，在Oracle8以前它的名稱是Oracle ConText Cartridge。使用Oracle9i和Oracle Text，可以方便而有效地利用標準的SQL工具來構建基於文本的新的開發工具或對現有應用程式進行擴展。應用程式開發人員可以在任何使用文本的Oracle資料庫應用程式中充分利用Oracle Text搜尋，套用範圍可以是現有應用程式中可搜尋的注釋欄位，也可是實現涉及多種文檔格式和複雜搜尋標準的大型文檔管理系統。Oracle Text支持Oracle資料庫所支持的大多數語言的基本全文搜尋功能。本文將介紹如何使用Oracle9i的全文檢索技術來為自己的套用提供一個優秀的解決方案。
Oracle 的體系架構
Oracle Text 索引文檔時所使用的主要邏輯步驟如下：
⑴數據存儲邏輯搜尋表的所有行，並讀取列中的數據。通常，這只是列數據，但有些數據存儲使用列數據作為文檔數據的指針。例如，URL_DATASTORE 將列數據作為 URL 使用。
⑵過濾器提取文檔數據並將其轉換為文本表示方式。存儲二進制文檔 （如 Word 或 Acrobat 檔案） 時需要這樣做。過濾器的輸出不必是純文本格式 -- 它可以是 XML 或 HTML 之類的文本格式。
⑶分段器提取過濾器的輸出信息，並將其轉換為純文本。包括 XML 和 HTML 在內的不同文本格式有不同的分段器。轉換為純文本涉及檢測重要文檔段標記、移去不可見的信息和文本重新格式化。
⑷詞法分析器提取分段器中的純文本，並將其拆分為不連續的標記。既存在空白字元分隔語言使用的詞法分析器，也存在分段複雜的亞洲語言使用的專門詞法分析器。
⑸索引引擎提取詞法分析器中的所有標記、文檔段在分段器中的偏移量以及被稱為非索引字的低信息含量字列表，並構建反向索引。倒排索引存儲標記和含有這些標記的文檔。
簡單的示例
這裡先給出一個簡單示例說利用Oracle Text實現全文檢索的方法與步驟，在後面在進行具體的說明。Orcale9i提供了Oracle Text Manager可以簡化許多工作，所有在Oracle Text Manager中完成的工作，都可以在通過PL/SQL來實現。要使用Oracle Text，必須具有CTXAPP角色或者是CTXSYS用戶。Oracle Text為系統管理員提供CTXSYS用戶，為應用程式開發人員提供CTXAPP角色。
CTXSYS用戶可執行以下任務：啟動Oracle Text伺服器，執行CTXAPP角色的所有任務。
具有CTXAPP角色的用戶可執行以下任務：創建索引，管理 Oracle Text 數據字典，包括創建和刪除首選項，進行Oracle Text 查詢，使用 Oracle Text PL/SQL程式包。
使用Oracle Text的步驟：
⑴創建表來保存某些文檔。該示例使用一個主關鍵字列來標識每個文檔，使用一個小的VARCHAR2列來保存每個文檔。
CREATE TABLE docs (id NUMBER PRIMARY KEY,text VARCHAR2（80））；
⑵將兩個示例文檔置入該表：
INSERT INTO docs VALUES （1，'the first doc'）；
INSERT INTO docs VALUES （2，'the second doc'）；
COMMIT；
⑶使用Oracle Text Manager來創建和修改首選項，首選項將與索引相關聯。
⑷使用Oracle Text Manager創建文本索引。另外，可以輸入以下使用默認首選項的 SQL 語句：
CREATE INDEX doc_index ON docs(text) INDEXTYPE IS CTXSYS.CONTEXT;
⑸使用 CONTAINS 函式，發出基於內容的文檔查詢。例如：
SELECT id FROM docs WHERE CONTAINS (text,'first') > 0;
這將在文本列包含單詞 first （即文檔1） 的 docs 中查找所有行。語句中的>0部分是有效的Oracle SQL所必需的，Oracle SQL不支持函式的布爾返回值。
以上只是一個簡單的示例，旨在給出使用Oracle Text建立全文索引的完整步驟，歸納起來如下：
⑴建表並裝載文本（包含帶有需要檢索的文本欄位）
⑵配置索引
⑶建立索引
⑷發出查詢
⑸索引維護：同步與最佳化（將在後面介紹）
文本裝載
要實現文本的全文檢索首先必須把正確的文本載入到資料庫表中，默認的建立索引行為要求將文檔裝載在文本列中，儘管可以用其它方式 （包括檔案系統和 URL 形式）存儲文檔 （在"數據存儲"選項進行設定）。默認情況下，系統應該將文檔裝載在文本列中。文本列可以是VARCHAR2、CLOB、BLOB、CHAR或BFILE。注意，只有在將Oracle7系統移植到Oracle8的情況下才支持用LONG和LONG RAW 這兩個相反的列類型存儲文本。不能為列類型NCLOB、DATE和NUMBER建立索引。
關於文檔格式，因為系統能為包括HTML、PDF、Microsoft Word和純文本在內的大多數文檔格式建立索引，可以將其中的任何文檔類型裝載到文本列中（在"過濾器"選項中設定）。有關所支持的文檔格式的詳細信息，可以參閱Oracle Text User's Guide and Reference 中的附錄"Supported Filter Formats"。
裝載方法主要有以下幾種：
⑴SQL INSERT 語句
⑵ctxload 執行檔
⑶SQL*Loader
⑷從 BFILE 中裝載 LOB 的 DBMS_LOB.LOADFROMFILE() PL/SQL 過程
⑸Oracle Call Interface
為文本建立索引
文本裝入文本列後，就可以創建Oracle Text索引。文檔以許多不同方案、格式和語言存儲。因此，每個 Oracle Text 索引有許多需要設定的選項，以針對特定情況配置索引。創建索引時，Oracle Text可使用若干個默認值，但在大多數情況下要求用戶通過指定首選項來配置索引。
每個索引的許多選項組成功能組，稱為"類&quo
每個類具有許多預定義的行為，稱之為對象。每個對象是類問題可能具有的答案，並且大多數對象都包含有屬性。通過屬性來定製對象，從而使對索引的配置更加多變以適應於不同的套用。
⑴存儲（Storage）類
存儲類指定構成Oracle Text索引的資料庫表和索引的表空間參數和創建參數。它僅有一個基本對象：BASIC_STORAGE，其屬性包括：I_Index_Clause、I_Table_Clause、K_Table_Clause、N_Table_Clause、P_Table_Clause、R_Table_Clause。
⑵數據存儲（Datastore）類
數據存儲：關於列中存儲文本的位置和其他信息。默認情況下，文本直接存儲到列中，表中的每行都表示一個單獨的完整文檔。其他數據存儲位置包括存儲在單獨檔案中或以其 URL 標識的 Web 頁上。七個基本對象包括：Default_Datastore、Detail_Datastore、Direct_Datastore、File_Datastore、Multi_Column_Datastore 、URL_Datastore、User_Datastore，。
⑶文檔段組（Section Group）類
文檔段組是用於指定一組文檔段的對象。必須先定義文檔段，然後才能使用索引通過 WITHIN 運算符在文檔段內進行查詢。文檔段定義為文檔段組的一部分。包含七個基本對象：AUTO_SECTION_GROUP、BASIC_SECTION_GROUP、HTML_SECTION_GROUP、NEWS_SECTION_GROUP、NULL_SECTION_GROUP、XML_SECTION_GROUP、PATH_SECTION_GROUP。
⑷相關詞表（Wordlist）類
相關詞表標識用於索引的詞幹和模糊匹配查詢選項的語言，只有一個基本對象BASIC_WORDLIST，其屬性有：Fuzzy_Match、Fuzzy_Numresults、Fuzzy_Score、Stemmer、Substring_Index、Wildcard_Maxterms、Prefix_Index、Prefix_Max_Length、Prefix_Min_Length。
⑸索引集（Index Set）
索引集是一個或多個Oracle 索引 （不是Oracle Text索引） 的集合，用於創建 CTXCAT類型的Oracle Text索引，只有一個基本對象BASIC_INDEX_SET。
⑹詞法分析器（Lexer）類
詞法分析器類標識文本使用的語言，還確定在文本中如何標識標記。默認的詞法分析器是英語或其他西歐語言，用空格、標準標點和非字母數字字元標識標記，同時禁用大小寫。包含8個基本對象：BASIC_LEXER、CHINESE_LEXER、CHINESE_VGRAM_LEXER、JAPANESE_LEXER、JAPANESE_VGRAM_LEXER、KOREAN_LEXER、KOREAN__MORPH_ LEXER、MULTI_LEXER。
⑺過濾器（Filter）類
過濾器確定如何過濾文本以建立索引。可以使用過濾器對文字處理器處理的文檔、格式化的文檔、純文本和 HTML 文檔建立索引，包括5個基本對象：CHARSET_FILTER、INSO_FILTER INSO、NULL_FILTER、PROCEDURE_FILTER、USER_FILTER。
⑻非索引字表（Stoplist）類
非索引字表類是用以指定一組不編入索引的單詞 （稱為非索引字）。有兩個基本對象：BASIC_STOPLIST （一種語言中的所有非索引字） 、 MULTI_STOPLIST （包含多種語言中的非索引字的多語言非索引字表）。
查詢
建立了索引，就可以使用 SELECT 語句中的 CONTAINS 運算符發出文本查詢。使用 CONTAINS 可以進行兩種查詢：單詞查詢和ABOUT查詢。
詞查詢示例
詞查詢是對輸入到 CONTAINS 運算符中單引號間的精確單詞或短語的查詢。在以下示例中，我們將查找文本列中包含 oracle 一詞的所有文檔。每行的分值由使用標籤 1 的 SCORE 運算符選定：
SELECT SCORE⑴ title from news WHERE CONTAINS(text,'oracle',1） > 0;
在查詢表達式中，可以使用 AND 和 OR 等文本運算符來獲取不同結果。還可以將結構性謂詞添加到 WHERE 子句中。可以使用 count(*）、CTX_QUERY.COUNT_HITS 或 CTX_QUERY.EXPLAIN 來計算查詢的命中 （匹配） 數目。
ABOUT查詢示例
在所有語言中，ABOUT查詢增加了某查詢所返回的相關文檔的數目。在英語中，ABOUT 查詢可以使用索引的主題詞組件，該組件在默認情況下創建。這樣，運算符將根據查詢的概念返回文檔，而不是僅依據所指定的精確單詞或短語。例如，以下查詢將查找文本列中關於主題 politics 的所有文檔，而不是僅包含 politics 一詞的文檔：
SELECT SCORE⑴ title from news WHERE CONTAINS(text,'about(politics)',1） > 0;
滿足查詢條件的文檔
以下是關於輸出效果和用於每個輸出效果的過程的信息：
突出顯示的文檔，純文本格式版本（CTX_DOC.MARKUP)
突出顯示的文檔，HTML版本（CTX_DOC.MARKUP)
突出顯示純文本格式版本的偏移量信息（CTX_DOC.HIGHLIGHT)
突出顯示HTML 版本的偏移量信息（CTX_DOC.HIGHLIGHT)
純文本格式版本，無突出顯示（CTX_DOC.FILTER)
HTML版本文檔，無突出顯示（CTX_DOC.FILTER)
索引維護
索引建好後，如果表中的數據發生變化，比如增加或修改了記錄，怎么辦？由於對表所發生的任何DML語句，都不會自動修改索引，因此，必須定時同步（sync）和最佳化（optimize）索引，以正確反映數據的變化。
在索引建好後，可以在該用戶下查到Oracle自動產生了以下幾個表：（假設索引名為myindex）：
DR$myindex$I，DR$myindex$K，DR$myindex$R，DR$myindex$N
其中以I表最重要，可以查詢一下該表：
select token_text,token_count from DR$ myindex $I where rownum<=20;
查詢結果在此省略。可以看到，該表中保存的其實就是Oracle 分析你的文檔後，生成的term記錄
在這裡，包括term出現的位置、次數、hash值等。當文檔的內容改變後，可以想見這個I表的內容也應該相應改變，才能保證Oracle在做全文檢索時正確檢索到內容（因為所謂全文檢索，其實核心就是查詢這個表）。那么如何維護該表的內容，不能每次數據改變都重新建立索引，這就要用到sync 和 optimize了。
同步（sync）：將新的term 保存到I表；
最佳化（optimize）：清除I表的垃圾，主要是將已經被刪除的term從I表刪除。
Oracle提供了一個所謂的ctx server來做這個同步和最佳化的工作，只需要在後台運行這個進程，它會監視數據的變化，及時進行同步。另外，也可以用以下的job來完成（該job要建在和表同一個用戶下）：
create or replace procedure sync
is
begin
execute immediate
'alter index myindex rebuild online' ||
' parameters (''sync'')' ;
execute immediate
'alter index myindex rebuild online' ||
' parameters (''optimize full maxtime unlimited'')' ;
end sync;
/
Set ServerOutput on
declare
v_job number;
begin
Dbms_Job.Submit
（
job => v_job,
what => 'sync;',
next_date => sysdate,/* default */
interval => 'sysdate + 1/720' /* = 1 day / （24 hrs * 30 min) = 2 mins */
）；
Dbms_Job.Run (v_job);
Dbms_Output.Put_Line ('Submitted as job # ' || to_char (v_job));
end;
/
job的SYSDATE + （1/720）是指每隔2分鐘同步一次。具體的時間間隔，可以根據自己的套用的需要而定。
小結
文本對於各種規模的公司、機構組織來說，都是包含眾多豐富信息的最有效載體，Oracle Text的推出，標誌著Oracle提供了一套嶄新的技術，可以便捷安全的用於管理企業的文本信息。Oracle Text使應用程式開發者可以透明地將全文檢索能力加入到基於SQL的應用程式中，Oracle Text也是其他Oracle產品的核心組件，比如Oracle9iAS Portal，Oracle eBusiness Suite，Oracle Ultra Search和Oracle Internet File System等。靈活運用Oracle Text提供的全文檢索技術，就可以使自己的套用具備強大的全文檢索能力。
