實驗一直是 Big Tech 用以推動產品迭代的重要步驟,好的實驗可以驗證產品的改變是否對使用者來說有正面的效益,公司也才會有信心將這個功能正式上線,而對於一個網路產品來說最常用的手法即是 A/B testing。然而,在講求快速迭代的產品開發過程當中,A/B testing 的實驗週期通常不會太長,也就很難透過 A/B testing 衡量長期效益。舉例來說,Netflix 想要加強推廣旗下的遊戲產品,於是試圖在 App 上新增廣告欄位,透過實驗發現遊戲的下載數確實因為廣告而有所提升,但我們卻很難回答:長期來看這個功能是否使得使用者更喜歡 Netflix?更願意留在產品內並提供營收?
閱讀全文〈Netflix 如何透過短期 A/B Testing 結果估計長期成效〉