Doordash 是一家總部位在舊金山的外送平台,如同在台灣的 Uber Eats 或 Foodpanda,Doordash 作為一個平台負責媒合消費者與店家,並透過外送師(Dasher)協助完成每筆訂單。假設今天 Doordash 想要在某個地區發放折扣並檢視其成效,於是他們隨機地將一個地區裡面的消費者分為實驗組 (Treatment Group) 與對照組 (Control Group),可想而知實驗組的消費者可能會更傾向去訂購,於是那一個地區的外送師會為了處理實驗組的訂單而疲於奔命。最後當我們檢視實驗效果的時候,其實很難說實驗組與對照組下訂的數量差異,到底是來自於優惠券的發放?還是因為外送師被實驗組大量佔據,導致根本就沒有 Supply 可以去處理對照組的 Demand?這個時候透過 A/B testing 估計的處置效果就會有 bias。
閱讀全文〈Doordash 如何透過 Switchback Experiment 處理 Network Effect〉