A/B 測試

為什麼要知道這個

把流量隨機分成兩組，一組看 A 版一組看 B 版，其他條件盡量一致，最後比哪一版的目標指標比較好。它處理的是「我覺得這樣比較好」這種無法收斂的爭論。

值得測的通常是影響大又改得動的東西：主標題、行動按鈕的文字、表單欄位數、價格呈現方式。改個按鈕顏色這種測試多半測不出統計上的差別。

最常被誤用的地方

樣本數不夠就宣布結果，是最常見的錯誤。兩百次造訪、A 版轉換 8 次 B 版 5 次，看起來 A 贏了六成，實際上這個差距完全可能是隨機造成的。開始測之前就要算好需要多少樣本、要跑多久，並且說到做到。

一邊跑一邊偷看，看到有差就喊停，會大幅膨脹誤判機率。你等於一直在找那個隨機波動剛好對你有利的瞬間。要嘛事先定好觀察期，要嘛採用能處理提前停止的統計方法。

同時改五個地方，贏了也不知道贏在哪。下次做另一個頁面時，你沒有可以套用的結論。一次一個變數比較慢，但會累積出真的知識。

流量小的網站不適合把 A/B 測試當主力。每月幾百次造訪要測出 10% 的差異，可能要跑好幾個月，而這期間你的商品、季節、廣告都變了。這種規模用檢查清單逐項排除明顯問題，投報率高得多。