針對一個機器學習的演算法,一般來說我們會希望他的泛化能力(generalization ability)是好的,也就是說倘若模型在訓練資料集的 loss 很低,則在測試資料集的 loss 應該也要很低才對,這樣的想法並不侷限於訓練與測試,offline 與 online、development 與 production、A 資料集與 B 資料集等應用場域都是互相呼應的,而穩定性(Stability)與稀疏性(Sparsity)正是兩個用以描述演算法泛化能力的性質。這篇文章主要想透過 介紹這兩個性質並進一步探討兩者之間的關係。
閱讀全文〈不可兼得的稀疏性與穩定性 (Sparsity and Stability)〉