Categories
程式開發

LinkedIn 開源GDMix:用於訓練人工智能個性化模型的框架


GDMix 是什麼?

考慮一個工作推薦任務,假設有兩個LinkedIn 成員Alice 和Annie,她們的信息非常相似。她們兩個都有相同的用戶特徵,響應的是同一對公司。但她們的反應完全相反。如果我們使用這兩個成員的數據來訓練一個機器學習模型,那麼模型將不會有效,因為訓練樣本相互矛盾。解決方案之一是根據成員的數據為每個成員訓練一個單一的模型。這就是個性化的一個例子。

LinkedIn 開源GDMix:用於訓練人工智能個性化模型的框架 1

個性化的一種可能實現是將所有成員ID 嵌入到一個模型中。這通常會導致一個非常大的模型,因為成員數量可能會達到數億量級。 GDMix(G充實的deep混合ed Model,通用深度混合模型)是LinkedIn 為高效訓練這類模型而創建的解決方案。它將一個大模型分解為全局模型(又稱“固定效應模型”)和大量小模型(又稱“隨機效應模型”),然後分別求解。這種分而治之的方法,允許使用標準硬件對大型個性化模型進行有效的訓練。GDMix 是其前身Photon ML 的改進,它擴展並支持深度學習模型。要了解更多背景信息,請查看我們的工程博客

支持的模型

當前版本的GDMix 支持固定效應的邏輯回歸模型和DeText 模型,然後是隨機效應的邏輯回歸模型。在未來,如果增加的複雜性可以通過改進行度量來證明的話,我們可能會支持隨機效應的深度模型。

原文鏈接:【https://www.infoq.cn/article/SBbuxz4ygsfYg9fKd56R】。未經作者許可,禁止轉載。