Categories
程式開發

電商搜索系統質量保障體系建設丨ArchSummit


背景

電商搜索的主要對像是商品,目標是用戶精確找到商品,賣家有機會曝光商品,商城構建良好的生態。圍繞這個三個核心業務指標,系統穩定、結果精確、研發效率、排序效果,既是電商搜索系統研發的目標,也是挑戰。幾個具體的例子,從規模上,有30多個搜索系統,服務3億+活躍用戶;數據量上,商品量數十億;人員上,開發和測試比12:1,北京、深圳和矽谷多地協調。

實施後效果

質量保障體系建設起來後,200+研發團隊協同開發,平均每週上線40多個功能,平均迭代速度5-6天;其中算法ab,每天多次上線。快速把業務需求轉化成收益,同時保證系統的穩定、業務的 KPI 和用戶體驗。

解決方案選型

質量保障體係有幾個特點:服務化、自動化、智能化。服務化,解決是 測試/開發佔比低、異地協同的問題。自動化,主要是提高研發、測試和部署速度。智能化,主要是對搜索結果精確、排序效果的評估,發現業務 KPI 異常、badcase。

方案介紹:

  • 服務化(platform as a service),提供自助部署 All-in-one min 集群的服務、code review 服務、性能壓測服務、diff 評估服務、搜索效果評估服務、個性化評估服務。

  • 自動化:完整的持續集成流水線,包括:precomit、component、deploy、test;為了提高部署效率,對AB集群搭建持續部署流水線。

  • 智能化:是把人工標註的、用戶投訴和反饋的體驗問題,轉化為人工智能識別的特徵與標註類別,最終通過監督學習的方法進行模型訓練,把訓練好的模型用來檢測搜索效果問題,最終人工對人工智能預測出的效果問題進行二次評價和處理,並反饋給模型持續訓練。

另外,強調2點:一個是流程規範,一個是可運維和可運營。流程規範就是把研發有序組織起來研發和交付,是形成意識培養文化,服務化、自動化和智能化是幫助流程規範落地;整個質量保障體系,能否落地關鍵是可運維和可運營。

內容大綱

1、質量保障體系

2、電商搜索業務場景和問題挑戰

3、電商搜索質量保障體系實踐

  • 服務化
  • 自動化
  • 智能化

4、電商搜索質量保障體系難點

  • 規範流程製定和落地、可運營和可運維

聽眾受益:

1、完整質量保障體系,特別互聯網場景下實踐

2、質量保障體系服務化、自動化和智能化落地

3、自動化測試和質量保障的經驗總結