統計顯著

為什麼要知道這個

它回答的是：「B 版比 A 版好 12%」這件事，有多少機率其實只是隨機波動。A/B 測試沒有這一關就等於在看雲的形狀。

樣本數要在開始測之前就算好。要偵測的差距越小、基準轉換率越低，需要的樣本就越多——常常多到讓你決定「這個題目不值得測」，而那也是有用的結論。

最常被誤用的地方

「顯著」不等於「重要」。樣本夠大的時候，0.3% 的差距也會顯著，但那個差距可能不值得你為它改一版程式。統計顯著談的是「是不是真的」，商業意義要另外判斷。

一邊跑一邊偷看、看到顯著就喊停，會大幅膨脹誤判機率。要嘛事先定好觀察期，要嘛用能處理提前停止的方法。

同時測十件事，其中一件「顯著」幾乎是必然的——那叫多重比較。測很多個變體時，門檻要跟著調嚴。