A/B test 的指摽幾乎是要做實驗前首要決定的事情,比如說當我們想要衡量網站改版前後,使用者的點擊率是否會提高?使用者的平均停留時間是否會改變?但這樣的指標定義確實是挺空泛的,比如說使用者有沒有包含那些未註冊的用戶?我們該如何衡量點擊率,是累積的點擊率?還是次日、七日的點擊率?在時間的維度上,Spotify 最近就發表了一篇我覺得挺有意思的文章,他們主要將指標分成兩類:
- Cumulative metric: 每個樣本被測量到的時間區間是不一致的,這個區間也就是從樣本接受暴露開始($e$)到當下測量的時間($t$)。
- Windowed metric: 每個樣本固定在接受暴露 ($e$), 並過了 $\nu$ 時間之後被測量 ($e + \nu$),所以要是測量的時間 $t < e + \nu$,此時這個指標是未被定義的。