A/B測試(一種網頁最佳化方法)

A/B測試是一種新興的網頁最佳化方法，可以用於增加轉化率註冊率等網頁指標。AB測試本質上是個分離式組間實驗，以前進行AB測試的技術成本和資源成本相對較高，但現在一系列專業的可視化實驗工具的出現，AB測試已越來越成為網站最佳化常用的方法。

A/B測試其實是一種“先驗”的實驗體系，屬於預測型結論，與“後驗”的歸納性結論差別巨大。A/B測試的目的在於通過科學的實驗設計、採樣樣本代表性、流量分割與小流量測試等方式來獲得具有代表性的實驗結論，並確信該結論在推廣到全部流量可信。

A/B測試如同GitHub、Docker、APM一樣在美國市場已經被各類企業逐漸採用，相信在中國也能被廣大開發者所接納，其測試範圍也不僅僅局限於網頁最佳化，目前移動端的A/B測試需要同時支持前端（Web/H5、iOS、Android）及後端（Node.js、PHP、Java），相對於Web端的A/B測試，移動端的技術難度與複雜度都要高得多。

基本介紹

• 中文名：對照實驗、A/B測試
• 外文名：Controlled experiments, A/B tests,A/B testing
• 性質：一種新興的網頁最佳化方法
• 作用：增加轉化率註冊率等網頁指標

簡介

A/B 測試，簡單來說，就是為同一個目標制定兩個方案（比如兩個頁面），讓一部分用戶使用 A 方案，另一部分用戶使用 B 方案，記錄下用戶的使用情況，看哪個方案更符合設計。A/B測試已經在Web上得到廣泛的套用，也出現了不少的測試工具，Optimizely就是其中之一。

簡述A/B Testing

使用A/B 測試首先需要建立一個測試頁面（variation page），這個頁面可能在標題字型，背景顏色，措辭等方面與原有頁面（control page）有所不同，然後將這兩個頁面以隨機的方式同時推送給所有瀏覽用戶。接下來分別統計兩個頁面的用戶轉化率，即可清晰的了解到兩種設計的優劣。

傳統的A/B測試，是一種把各組變數隨機分配到特定的單變數處理水平，把一個或多個測試組的表現與控制組相比較，進行測試的方式。

新的A / B測試，不僅僅其範圍限制在web分析方面，而是為其注入新生命，即移動設備端分析。Pathmapp聯合創始人兼執行長亞當Ceresko表示，今天，開發人員需要大大提高最佳化工具的性能，移動分析已成為A/B測試增長最快的一個領域。

A/B測試的套用舉例

用一個電商App的場景作為例子。電商App集成了我們的SDK之後，就可以在AB測試控制台創建很多“測試版本”，每個測試版本可以嘗試不同的UI設計和文案。客戶可以在控制台管理不同測試版本的試驗運行狀態、流量分配以及查看詳細的數據報告，並選擇發布效果更好的測試版本。

拿這個例子來說，假如這個App有100萬線上用戶，通過控制台可以控制這些用戶看到不同的測試版本。假如其中50萬用戶看到左邊版本，產生了10萬購買；另外50萬用戶看到右邊版本，產生了40萬購買。這個試驗數據說明右邊版本產生的轉化率更高，可以通過控制台將這個版本推廣到所有100萬用戶。

其中最重要的就是產品優勢，科技在A/B測試引擎的流量分割方面下了很多功夫，可以儘量保證試驗用戶流量的代表性和試驗數據的準確性，同時支持試驗流量動態控制、多變數組合試驗、大量並行試驗、針對特定人群的定向試驗等。

A/B 測試

五大測試元素

標題

長標題還是短標題

疑問句還是陳述句

正式語氣還是非正式語氣

強調賣點 A 還是賣點 B

圖片

大圖片還是小圖片

照片還是繪圖

客戶還是產品

布局

單列銷售信函布局還是多列布局

3頁的形式還是1 頁的緊湊形式

銷售切入點

質量還是便利

功能還是服務

賺錢還是省錢

轉換激勵

強調免費送貨還是退貨自由

列出所有的激勵措施還是什麼都不列

電話訂購轉換還是線上表格轉換

A/ B測試注意三點：

任何測試都只是手段而非目的

A / B測試不是要讓你用最新的技術、最新的軟體或者算法，大部分時候一個紙上的原型或者線框裡5秒鐘的測試都能幫你的網站製作找到方向。好好利用那些簡單、低廉的測試方式。

客觀對待網站測試過程

不要讓你的直覺推翻了測試結果。在A / B測試的結果往往是令人驚訝的或直觀的。在一個綠色為主題的網站，一個明顯的紅色按鈕有可能成為贏家。即使紅色按鈕不容易吸引注意。您要測試的目標是一個更好的轉換率，而不是美學。

版本測試應注意樣本大小

還有一點需要注意的是，A/B 測試的頁面必須有較高的 UV （Unique Visitor，獨立訪客數），因為分流帶有一定的隨機性，如果頁面 UV 太小，分到每一個版本的人數就更少，結果很有可能被一些偶然因素影響。而 UV 較大時，根據大數定理，我們得到的結果會接近於真實數據。

A/B測試革新

Pathmapp通過結合視覺分析和A / B測試，充分解決移動設備分析需求，一旦手機套用開發者，在手機套用中嵌入新A / B測試的代碼，這款套用就能收集用戶使用手機進行的每個互動活動，如交流，刷卡等。然後建立這個用戶的數據，提供“Heatmapps”（即視覺密度地圖），記錄用戶在哪方面以及與哪些應用程式發生互動。

該平台還通過應用程式，提供視覺顯示最常見的路徑，以及事故報告。所以，除了日誌轉儲，Pathmapp可以顯示用戶點擊過的應用程式。Ceresko說，Pathmapp的這個想法源於他成立APPEK的經驗，這是一個租用手機應用程式代理平台，Pathmapp的總公司。

Pathmapp用了三年時間，將針對企業和獨立開發人員基於Android、iOS和Facebook應用程式的設計和部署大功告成。執行長表示，在經歷了一次次的挫折之後，A / B測試工具+視覺分析功能的移動A / B測試工具，功能很強大。

AppAdhoc獨創性A/B測試革新

千萬量級App用戶規模支撐：現在的主要面向是日活上萬用戶的App，後台可以支撐每日至少千萬量級以上的各種App用戶發起的試驗請求與日誌匯報。

科學的用戶分割：使用學習算法將App用戶按照日常行為進行分組，保證X%的試驗流量(B)具有代表性，與(100-X)%的主流量(A)有可比性。支持多個試驗並行運行，也支持多個試驗重疊運行。

·準確的試驗結果：使用Hadoop實現統計學的算法來處理數據，分析對比試驗流量與主流量的結果數據，保證對比結果的置信區間

AB測試的工具介紹

在實際進行AB測試的時候，往往有兩種方法，一種是傳統的由技術人員製作多個頁面，然後通過URL重定向進行分類流量，而另外一種方法是通過專業的AB測試軟體。前者需要花費較多的人力物力，而且在數據的分析上也比較麻煩，而後者則無需任何編程技術，基本能通過這些軟體自帶的編輯器實現。目測主流的測試工具包括：

Google Website Optimizer

搜尋巨頭提供的免費A/B測試工具。一個很好的入門級工具，但是沒有一些先進的功能。

Visual Website Optimizer

一個易於使用的A / B測試工具，包含功能：如所見即所得的編輯器，單擊地圖，訪問者分割和標籤等。

Unbounce and Performable

集成著陸頁設計的A / B測試工具。

Vertster, SiteSpect, Webtrends Optimize and Omniture’s Test&Target

企業級測試工具。

Testin A/B測試

國內A/B測試SaaS服務，2018年11月1日宣布免費，支持多終端。

雲眼A/B測試

雲眼A/B測試涵蓋網站、移動端、全棧（前後端）等AB測試功能,可以驗證創意、算法和策略是否符合用戶需求,提高轉化率和留存率,加速業務增長。