編輯/壹覽君
在移動網際網路飛速發展的時代，使用者規模和網絡資訊量呈現出爆炸式增長，資訊過載加大了使用者選擇的難度，這樣的背景下，推薦系統應運而生，為使用者提供個性化的内容推薦。推薦系統在不斷疊代中，其算法、政策、特征、功能和使用者界面時常得到更新和優化，其中推薦算法的調整尤為關鍵。然而，由于深度學習模型的廣泛應用，推薦算法調整後的使用者體驗和效果難以通過經驗直接判斷。
為了更準确地評估和優化推薦系統，A/B實驗成為了一個不可或缺的工具。A/B實驗能夠量化各項名額的變化，進而對推薦系統的效果進行科學評估，并為後續的優化提供資料支援。本文将以火山引擎數智平台VeDI旗下的A/B測試平台（DataTester）為例，介紹抖音集團如何使用其能力，持續實作推薦系統的精準優化。
在推薦系統優化探索過程中，不同算法疊加不同的政策或功能效果，要通過實驗參數做功能組合的A/B實驗，是找到最優政策的最高效的方式，合理的實驗平台及實驗配置設計，可以達到幾乎不新增加開發工作量的效果。以火山引擎A/B測試DataTester為例，它目前支援Number、String、Boolean、Json類型的實驗參數配置，幫助使用者直接實作推薦系統政策的不同次元的A/B實驗。
以短視訊APP電商推薦場景為例，假設商品内容展示的時機不同，會對使用者的視訊消費時長和電商GMV産生影響，針對此政策的A/B實驗可以如下設計：
•對照組：視訊開始播放時立即展示商品卡片
•實驗組1：視訊播放5秒後展示商品卡片
•實驗組2：視訊播放10秒後展示商品卡片
在上述實驗中，火山引擎DataTester可以支援通過實驗參數的調整，直接實作對照組、實驗組1、實驗組2的分組。通過在代碼中解析參數并實作視訊播放x秒後展示商品卡片，即可完成實驗。若後續要新增如“視訊播放8秒後展示商品卡片”的實驗效果，也無需修改代碼，僅需要繼續增加一個新實驗參數的實驗即可。在此基礎上，可以建立幾十組甚至更多組不同參數值的實驗，并取得最優政策，而過程中幾乎無需耗費額外的開發人力。
需要注意的是，由于實驗參數是一個功能控制配置，是以在進行A/B實驗參數設計的時候需要避免一個誤區：不要按實驗設計的次元來設計實驗參數，而要按照功能控制的次元進行實驗設計。這一點在移動端APP實驗中尤為重要，因為APP産品通常發版周期長，變更頻率低，而有了功能控制次元的實驗參數，就可以在不發版的情況下，随時開啟多組不同參數的A/B實驗，篩選最優參數組合線上上生效。
火山引擎DataTester作為火山引擎數智平台VeDI旗下的核心産品，源于位元組跳動長期的技術和業務沉澱。目前，DataTester已經服務了上百家企業，包括美的、得到、博西家電、樂刻健身等知名品牌。這些企業在業務環節中得益于DataTester的科學決策支援，實作了業務的持續增長和優化。