名詞
回測
一句話定義
把一批問題實際丟給各家 AI,看它們怎麼回答你。
AI Backtesting · 又稱:AI 回測、AI 問答回測
為什麼要知道這個
回測量的是 AI 那一側的實況。健檢改得動的是你自己的網站,回測反映的是外面的世界現在怎麼講你。
結果會隨時間變動,所以要看趨勢不是看單次。同一題問兩次,答案可能就不一樣。
最常被誤用的地方
題目怎麼出,決定了數字有沒有意義。用「介紹某某公司」這種帶名字的題目去測能見度,等於自己餵答案。哪個指標該用哪種題目,見AI 點名率與AI 答對率。
跨引擎的結果不要平均成一個數字就算了。各家的檢索機制不同,某一家表現差,可能是它在這類問題上根本不去查。
要引用這個定義?