添加網站訪問記錄的方法及裝置:專利背景,發明內容,專利目的,技術方案,改善效果,附

《添加網站訪問記錄的方法及裝置》是深信服網路科技（深圳）有限公司於2013年1月21日申請的專利，該專利的公布號為CN103117892A，申請公布日為2013年5月22日，發明人是徐猛、吳澤敏。該發明涉及網路技術領域。

《添加網站訪問記錄的方法及裝置》包括：獲取網站訪問請求；提取所述網站訪問請求的REFERER值；獲取網站訪問記錄，判斷所述REFERER值是否屬於所述網站訪問記錄，若是，則獲取所述網站訪問請求的時間戳，判斷所述時間戳是否逾時，若逾時，則提取所述網站訪問請求的url，並將所述url添加到所述網站訪問記錄中。此外，還包括一種添加網站訪問記錄的裝置。上述添加網站訪問記錄的方法及裝置可以降低數據冗餘。

2017年12月11日，《添加網站訪問記錄的方法及裝置》獲得第十九屆中國專利優秀獎。

（概述圖為《添加網站訪問記錄的方法及裝置》摘要附圖）

基本介紹

中文名：添加網站訪問記錄的方法及裝置
申請人：深信服網路科技（深圳）有限公司
申請日：2013年1月21日
申請號：2013100217288
公布號：CN103117892A
公布日：2013年5月22日
發明人：徐猛、吳澤敏
地址：廣東省深圳市南山區麒麟路1號科技創業服務中心410室
分類號：H04L12/26(2006.01)I、H04L12/24(2006.01)I
代理機構：廣州華進聯合專利商標代理有限公司
代理人：何平
類別：發明專利

專利背景,發明內容,專利目的,技術方案,改善效果,附圖說明,權利要求,實施方式,榮譽表彰,

專利背景

企業內部通常具有內部網路，企業內部網路中的終端節點可通過企業網關訪問外網。傳統技術，為了獲取內部網路中的終端節點對外網的訪問記錄，通常在企業網關根據接收到的網站訪問請求進行統計，根據訪問的url（Universal Resource Locator，統一資源標識符）的類別進行日誌分析，生成網站訪問記錄，從而獲取企業內部網路中的用戶的上網習慣。

然而，用戶在通過瀏覽器地址欄輸入網站地址瀏覽網頁時，瀏覽器還會根據網頁中定義的資源檔案（如腳本檔案、圖片、flash檔案）的url自動發起網站訪問請求，從而載入網頁中的資源檔案。因此，傳統技術中在向網站訪問記錄中添加url時，會額外添加大量與資源檔案對應的url訪問記錄，從而造成數據的冗餘。

發明內容

專利目的

基於此，有必要提供一種能降低數據冗餘的添加網站訪問記錄的方法。

技術方案

《添加網站訪問記錄的方法及裝置》所述方法包括：獲取網站訪問請求；提取所述網站訪問請求的REFERER值；獲取網站訪問記錄，判斷所述REFERER值是否屬於所述網站訪問記錄，若是，則獲取所述網站訪問請求的時間戳，判斷所述時間戳是否逾時，若逾時，則提取所述網站訪問請求的url，並將所述url添加到所述網站訪問記錄中。

在其中一個實施例中，所述提取所述網站訪問請求的REFERER值的步驟之前還包括：獲取所述網站訪問請求的url；判斷所述url是否為根url，若是，則執行所述將所述url添加到所述網站訪問記錄中的步驟。在其中一個實施例中，所述提取所述網站訪問請求的REFERER值的步驟之前還包括：獲取所述網站訪問請求的訪問方法類型；判斷所述訪問方法類型是否為GET，若否，則忽略所述網站訪問請求。

在其中一個實施例中，所述提取所述網站訪問請求的REFERER值的步驟之前還包括：獲取所述網站訪問請求的header信息；判斷所述header信息是否對應異步請求，若是，則忽略所述網站訪問請求。在其中一個實施例中，所述提取所述網站訪問請求的REFERER值的步驟之前還包括：獲取所述網站訪問請求的網頁標題信息，若獲取失敗，則忽略所述網站訪問請求。

此外，還有必要提供一種能降低數據冗餘的添加網站訪問記錄的裝置。一種添加網站訪問記錄的裝置，包括：訪問請求獲取模組，用於獲取網站訪問請求；REFERER值獲取模組，用於提取所述網站訪問請求的REFERER值；訪問記錄添加模組，用於獲取網站訪問記錄，判斷所述REFERER值是否屬於所述網站訪問記錄，若是，則獲取所述網站訪問請求的時間戳，判斷所述時間戳是否逾時，若逾時，則提取所述網站訪問請求的url，並將所述url添加到所述網站訪問記錄中。

在其中一個實施例中，所述裝置還包括url篩選模組，用於獲取所述網站訪問請求的url，判斷所述url是否為根url，若是，則調用所述訪問記錄添加模組將所述url添加到所述網站訪問記錄中。在其中一個實施例中，所述裝置還包括訪問方法類型過濾模組，用於獲取所述網站訪問請求的訪問方法類型；判斷所述訪問方法類型是否為GET，若否，則忽略所述網站訪問請求。

在其中一個實施例中，所述裝置還包括header信息過濾模組，用於獲取所述網站訪問請求的header信息，判斷所述header信息是否對應異步請求，若是，則忽略所述網站訪問請求。在其中一個實施例中，所述裝置還包括網頁標題信息過濾模組，用於獲取所述網站訪問請求的網頁標題信息，若獲取失敗，則忽略所述網站訪問請求。

改善效果

《添加網站訪問記錄的方法及裝置》獲取網站訪問請求的REFERER值，且在REFERER值屬於已經生成的網站訪問記錄時，通過判斷網站訪問請求的時間戳是否逾時對網站訪問請求進行過濾。由於瀏覽器在載入網頁中的資源檔案時，會在逾時時間內發出與資源檔案對應的訪問請求，而人為的通過點擊連結訪問網站的行為必然發生在網頁載入完成後，即逾時時間後，因此，與資源檔案對應的訪問請求得到了過濾，使得添加到網站訪問記錄中的url均為用戶通過地址欄輸入或點擊頁面上的連結發起的網站訪問請求，從而降低了數據的冗餘。

同時，由於添加到網站訪問記錄中的url均為用戶通過地址欄輸入或點擊頁面上的連結發起的網站訪問請求，使得在根據網站訪問記錄分析用戶的上網習慣時得到分析數據更加準確。

附圖說明

圖1為一個實施例中添加網站訪問記錄的方法的流程圖；

圖2為一個實施例中添加網站訪問記錄的裝置的結構示意圖；

圖3為另一個實施例中添加網站訪問記錄的裝置的結構示意圖。

權利要求

1.一種添加網站訪問記錄的方法，包括：獲取網站訪問請求；提取所述網站訪問請求的REFERER值；獲取網站訪問記錄，判斷所述REFERER值是否屬於所述網站訪問記錄，若是，則獲取所述網站訪問請求的時間戳，判斷所述時間戳是否逾時，若逾時，則提取所述網站訪問請求的url，並將所述url添加到所述網站訪問記錄中。

2.根據權利要求1所述的添加網站訪問記錄的方法，其特徵在於，所述提取所述網站訪問請求的REFERER值的步驟之前還包括：獲取所述網站訪問請求的url；判斷所述url是否為根url，若是，則執行所述將所述url添加到所述網站訪問記錄中的步驟。

3.根據權利要求1所述的添加網站訪問記錄的方法，其特徵在於，所述提取所述網站訪問請求的REFERER值的步驟之前還包括：獲取所述網站訪問請求的訪問方法類型；判斷所述訪問方法類型是否為GET，若否，則忽略所述網站訪問請求。

4.根據權利要求1所述的添加網站訪問記錄的方法，其特徵在於，所述提取所述網站訪問請求的REFERER值的步驟之前還包括：獲取所述網站訪問請求的header信息；判斷所述header信息是否對應異步請求，若是，則忽略所述網站訪問請求。

5.根據權利要求1所述的添加網站訪問記錄的方法，其特徵在於，所述提取所述網站訪問請求的REFERER值的步驟之前還包括：獲取所述網站訪問請求的網頁標題信息，若獲取失敗，則忽略所述網站訪問請求。

6.一種添加網站訪問記錄的裝置，其特徵在於，包括：訪問請求獲取模組，用於獲取網站訪問請求；REFERER值獲取模組，用於提取所述網站訪問請求的REFERER值；訪問記錄添加模組，用於獲取網站訪問記錄，判斷所述REFERER值是否屬於所述網站訪問記錄，若是，則獲取所述網站訪問請求的時間戳，判斷所述時間戳是否逾時，若逾時，則提取所述網站訪問請求的url，並將所述url添加到所述網站訪問記錄中。

7.根據權利要求6所述的添加網站訪問記錄的裝置，其特徵在於，所述裝置還包括url篩選模組，用於獲取所述網站訪問請求的url，判斷所述url是否為根url，若是，則調用所述訪問記錄添加模組將所述url添加到所述網站訪問記錄中。

8.根據權利要求6所述的添加網站訪問記錄的裝置，其特徵在於，所述裝置還包括訪問方法類型過濾模組，用於獲取所述網站訪問請求的訪問方法類型；判斷所述訪問方法類型是否為GET，若否，則忽略所述網站訪問請求。

9.根據權利要求6所述的添加網站訪問記錄的裝置，其特徵在於，所述裝置還包括header信息過濾模組，用於獲取所述網站訪問請求的header信息，判斷所述header信息是否對應異步請求，若是，則忽略所述網站訪問請求。

10.根據權利要求6所述的添加網站訪問記錄的裝置，其特徵在於，所述裝置還包括網頁標題信息過濾模組，用於獲取所述網站訪問請求的網頁標題信息，若獲取失敗，則忽略所述網站訪問請求。

實施方式

在一個實施例中，如圖1所示，一種添加網站訪問記錄的方法，包括如下步驟：

步驟S102，獲取網站訪問請求。

網站訪問請求即用戶通過瀏覽器訪問網站時發出的HTTP（hyper text transport protocol）請求。HTTP請求包括請求頭部，請求頭部中包含有請求的相關信息，例如，訪問的url信息等。在企業網套用中，由於企業內部網路均需要通過企業網關訪問外部網路，因此可在企業網關處通過攔截數據包的方式獲取網站訪問請求。

步驟S104，提取網站訪問請求的REFERER值。

如前所述，REFERER為HTTP請求的請求頭部中的相關信息中的一種屬性，用於表示跳轉到該url之前對應的連結的地址，用於通知伺服器該請求是由哪個頁面連結而來，其值也為url。例如，若用戶直接在瀏覽器地址欄輸入網站地址，則發起的網路訪問請求的請求頭部的REFERER值即為空值；若用戶在訪問頁面A時通過點擊頁面A中的連結跳轉到頁面B，則跳轉到頁面B的網路訪問請求的請求頭部的REFERER值即為頁面A的url。

步驟S106，獲取網站訪問記錄，判斷REFERER值是否屬於網站訪問記錄，若是，則執行步驟S108：獲取網站訪問請求的時間戳，判斷時間戳是否逾時，若逾時，則執行步驟S110：提取網站訪問請求的url，並將url添加到網站訪問記錄中。

在該實施例中，網站訪問記錄即已經記錄的網站的url。在該實施例中，若獲取到的網站訪問請求的時間戳與網路訪問記錄中url被添加或更新時的時間戳的差值大於預設的逾時時間，則網站訪問請求的時間戳逾時。在該實施例中，若網站訪問記錄中已存在該網站訪問請求的url，即可將其訪問次數加1，並更新其對應的時間戳。在該實施例中，若REFERER值不屬於網站訪問記錄，則可執行步驟S110，提取網站訪問請求的url，並將url添加到網站訪問記錄中的步驟。

瀏覽器在載入網頁時，會根據網頁中定義的與資源檔案對應的連結發起相應的網站訪問請求。該網站訪問請求的請求頭部中的REFERER值為該被載入的網頁對應的url。若網站訪問記錄中不存在該REFERER值對應的url，則該網站訪問請求通常為用戶手動操作輸入的網站地址。

而在網站訪問記錄中存在該REFERER值對應的url值時，由於用戶對頁面上的連結的點擊跳轉操作必然在網頁載入完畢後執行，因此，在預設的逾時時間以外，瀏覽器發出的網站訪問請求即為用戶通過點擊頁面上的連結發起的網站訪問請求。

在一個實施例中，提取網站訪問請求的REFERER值的步驟之前還可獲取網站訪問請求的url，判斷url是否為根url，若是，則執行將url添加到網站訪問記錄中的步驟。根url即url中的資源地址信息僅為域名的url。例如，http://www.baidu.com，該url的資源地址信息僅為域名http://www.baidu.com，因此該url為根url。

由於資源檔案對應的網站訪問請求的url通常包括檔案名稱後綴或二級地址信息，根url對應的網頁通常為網站的門戶網頁，因此，通過判斷根url對網站訪問請求進行過濾可以準確地去掉冗餘的網站訪問請求。在一個實施例中，提取網站訪問請求的REFERER值的步驟之前還可獲取網站訪問請求的訪問方法類型，判斷訪問方法類型是否為GET，若否，則忽略網站訪問請求。

網站訪問請求的訪問方法類型即網站訪問請求的請求頭部中包含的method屬性。通常情況下，只有method屬性為GET（不區分大小寫）時，該網站訪問請求才對套用戶的網頁瀏覽操作。例如，method屬性為POST時為提交表單數據的操作，與瀏覽行為無關。將method屬性不為GET的網站訪問請求過濾掉，可減少後期比較的次數，從而提高執行效率。

在一個實施例中，提取網站訪問請求的REFERER值的步驟之前還可獲取網站訪問請求的header信息，判斷header信息是否對應異步請求，若是，則忽略網站訪問請求。網站訪問請求的header信息即網站訪問請求的請求頭部信息，異步請求即AJAX（Asynchronous Java Script and XML，一種基於XML的異步請求調用，XML，Extensible Markup Language，可擴展標記語言）請求。例如，若header信息包含“X-Requested-With”則表示該網站訪問請求對應異步請求。

異步請求可實現在不刷新整個網頁頁面的情況下由伺服器載入網頁元素或資源檔案的作用。由於異步請求不會產生頁面跳轉，因此，header屬性值對應異步請求的網站訪問請求通常用於獲取伺服器上的資源檔案，將其過濾可減少後期比較的次數，從而提高執行效率。在一個實施例中，提取述網站訪問請求的REFERER值的步驟之前還可獲取網站訪問請求的網頁標題信息，若獲取失敗，則忽略網站訪問請求。

網頁標題信息即網站訪問請求的HTTP回響實體內的title標籤（一種HTTP標籤）中內容信息。通常情況下，若無網頁標題信息，則該網站訪問請求對應資源檔案而不是某個網頁（因為資源檔案沒有網頁內容，因此沒有網頁標題信息）。將請求頭部不包含網頁標題信息的網站訪問請求過濾可減少後期比較的次數，從而提高執行效率。

在一個實施例中，如圖2所示，一種添加網站訪問記錄的裝置，包括訪問請求獲取模組102、REFERER值獲取模組104以及訪問記錄添加模組106，其中：訪問請求獲取模組102，用於獲取網站訪問請求。網站訪問請求即用戶通過瀏覽器訪問網站時發出的HTTP（hyper text transport protocol）請求。HTTP請求包括請求頭部，請求頭部中包含有請求的相關信息，例如，訪問的url信息等。在企業網套用中，由於企業內部網路均需要通過企業網關訪問外部網路，因此可在企業網關處通過攔截數據包的方式獲取網站訪問請求。REFERER值獲取模組104，用於提取網站訪問請求的REFERER值。

訪問記錄添加模組106，用於獲取網站訪問記錄，判斷REFERER值是否屬於網站訪問記錄，若是，則獲取網站訪問請求的時間戳，判斷時間戳是否逾時，若逾時，則提取網站訪問請求的url，並將url添加到網站訪問記錄中。在該實施例中，網站訪問記錄即已經記錄的網站的url。在該實施例中，若獲取到的網站訪問請求的時間戳與網路訪問記錄中url被添加或更新時的時間戳的差值大於預設的逾時時間，則網站訪問請求的時間戳逾時。

在該實施例中，若網站訪問記錄中已存在該網站訪問請求的url，即訪問記錄添加模組106可用於將其訪問次數加1，並更新其對應的時間戳。在該實施例中，若REFERER值若不屬於網站訪問記錄，則訪問記錄添加模組106可用於提取網站訪問請求的url，並將url添加到網站訪問記錄中。

在一個實施例中，如圖3所示，添加網站訪問記錄的裝置還包括url篩選模組108，用於獲取網站訪問請求的url，判斷url是否為根url，若是，則調用訪問記錄添加模組106將url添加到網站訪問記錄中。

根url即url中的資源地址信息僅為域名的url。例如，http://www.baidu.com，該url的資源地址信息僅為域名http://www.baidu.com，因此該url為根url。

由於資源檔案對應的網站訪問請求的url通常包括檔案名稱後綴或二級地址信息，根url對應的網頁通常為網站的門戶網頁，因此，通過判斷根url對網站訪問請求進行過濾可以準確地去掉冗餘的網站訪問請求。

在一個實施例中，如圖3所示，添加網站訪問記錄的裝置還包括訪問方法類型過濾模組110，用於獲取網站訪問請求的訪問方法類型，判斷訪問方法類型是否為GET，若否，則忽略網站訪問請求。

在一個實施例中，如圖3所示，添加網站訪問記錄的裝置還包括header信息過濾模組112，用於獲取網站訪問請求的header信息，判斷header信息是否對應異步請求，若是，則忽略網站訪問請求。

網站訪問請求的header信息即網站訪問請求的請求頭部信息，異步請求即AJAX（Asynchronous Java Script and XML，一種基於XML的異步請求調用，XML，Extensible Markup Language，可擴展標記語言）請求。例如，若header信息包含“X-Requested-With”則表示該網站訪問請求對應異步請求。

異步請求可實現在不刷新整個網頁頁面的情況下由伺服器載入網頁元素或資源檔案的作用。由於異步請求不會產生頁面跳轉，因此，header屬性值對應異步請求的網站訪問請求通常用於獲取伺服器上的資源檔案，將其過濾可減少後期比較的次數，從而提高執行效率。

在一個實施例中，如圖3所示，添加網站訪問記錄的裝置還包括網頁標題信息過濾模組114，用於獲取網站訪問請求的網頁標題信息，若獲取失敗，則忽略網站訪問請求。網頁標題信息即網站訪問請求的HTTP回響實體內的title標籤（一種HTTP標籤）中內容信息。通常情況下，若無網頁標題信息，則該網站訪問請求對應資源檔案而不是某個網頁（因為資源檔案沒有網頁內容，因此沒有網頁標題信息）。將請求頭部不包含網頁標題信息的網站訪問請求過濾可減少後期比較的次數，從而提高執行效率。

榮譽表彰