機器之心發布
機器之心編輯部
提到 AI 的突破，人們首先想到的往往是大語言模型（LLM）：寫代碼、生成文本、甚至推理多模態內容，幾乎重塑了通用智能的邊界。但在一個看似 “簡單” 的領域 —— 結構化表格數據上，這些強大的模型卻頻頻失手。電網調度、用戶建模、通信日誌…… 現實世界中大量關鍵系統的核心數據都以表格形式存在。然而，無論是直接微調 LLM，還是採用專門為表格設計的深度架構（如 TabNet、SAINT、FT-Transformer），其性能在多數真實場景下仍難以超越 XGBoost、CatBoost 等傳統梯度提升方法。
這引出一個尖銳的問題：為什麼在非結構化數據上所向披靡的現代深度學習，在結構化數據建模中卻長期陷入瓶頸？
直指這個核心問題，清華大學崔鵬團隊做出了他們的回應 ——LimiX。
不同於其他模型只能進行一種下游任務，LimiX-2M 在同時支持分類、回歸、缺失值插補等任務的前提下，以僅有 2M 的模型參數超越了包括 XGBoost、CatBoost 在內的經典模型，並在與 AutoGluon 和 TabPFN 的對比中展示出顯著優勢，僅次於 LimiX 前期發布的 LimiX-16M。
LimiX 的開源使中國在表格建模領域的研究真正站到了世界的最前沿，力壓 Amazon AWS，Inria 等一系列頂尖機構在諸多性能測試上登頂！僅僅 2M 的模型體量使得快速微調和工程適配成為可能，為各領域研究和工業應用提供了無限可能。
- 技術報告標題：LimiX: Unleashing Structured-Data Modeling Capability for Generalist Intelligence
- 報告地址：https://arxiv.org/abs/2509.03505
- 項目地址：https://www.limix.ai/
- GitHub：https://github.com/limix-ldm/LimiX
- Huggingface：https://huggingface.co/stable-ai
2M 參數量，LimiX 有多強？
11 個權威評測基準上的平均性能表現，LimiX-2M 僅次於 LimiX-16M，位列第二
如圖所示，在 11 個權威綜合性能評測中，LimiX 憑藉強大的 zero-shot 能力強勢領跑：其 LimiX-16M 與 LimiX-2M 版本包攬分類任務冠亞軍，一舉超越業界標杆 AutoGluon，並大幅甩開其他基於上下文學習的基礎模型與傳統樹模型。
在基準數據集 BCCO-CLS 上的分類性能對比，只展示了部分最優模型，完整表格參閱技術報告
在基準數據集 CTR23 上的回歸性能對比，只展示了部分最優模型，完整表格參閱技術報告
上圖展示了 LimiX-2M 在 BCCO 和 CTR23 上的測試結果：在分類任務中，LimiX-16M 和 LimiX-2M 包攬前二。在回歸任務中，LimiX-16M 依舊穩居榜首；LimiX-2M 緊隨 LimiX-16M 和 AutoGluon，力壓眾多模型，位列第三。值得注意的是 —— 這一切成績均在無任何任務特定微調的前提下達成！
除了 “開箱即用” 模式之外，LimiX 還可以通過微調進一步提高模型表現。作為對比，我們把 LimiX-2M 和最新的 PFN-V2.5 都在 analcatdata_apnea2 數據集上進行微調，並統計微調前後的 AUC 和消耗的時間。微調後，模型的 AUC 相較於微調之前提升 11.4%，同時所需要的時間只相當於 PFN-V2.5 的 60%。
值得一提的是，儘管本對比實驗在 H20 上完成，但 LimiX-2M 可以在消費級顯卡 RTX4090 上進行微調，而 PFN-V2.5 需要更大顯存的顯卡，LimiX 作為基礎模型顯然更加科研友好。
讓科研回歸創造，讓技術成為助力
LimiX-2M 作為一個高效、靈活、可靠的算法架構，讓研究人員不再受困於算力與工程難題，而是專註於科學問題本身。其輕量、易用、可落地的特點，使最前沿的 AI 技術觸手可及，大大降低了使用門檻，加速了想法的驗證與共享：
- 開箱即用，告別適配：LimiX 基於上下文學習，無需訓練或調參，自動完成數據預處理，讓非專業人士也能立刻上手；
- 一模多能，科研的 “瑞士軍刀”：單模型通吃分類、回歸、插補等多任務，跨學科研究無縫切換，告別繁瑣的模型管理；
- 小樣本友好，挖掘珍貴數據價值：在醫學、生物等小樣本場景下高效泛化，從有限數據中榨取最大的分析價值；
- 可解釋可追溯，打開模型 “黑盒”：通過檢索機制揭示預測依據，提升透明度，助力理論驗證與可信分析；
- 低算力運行，資源友好的科研工具：輕量設計支持普通電腦流暢運行，讓小型團隊也能低成本開展前沿 AI 實驗；
- 本地可部署，隱私與合規雙保險：完全離線運行，保障敏感數據安全，滿足醫療、國防等高合規場景需求。
輕量模型的 “屠龍術”
1. LimiX 模型是怎麼練成的？
LimiX 的模型結構：LimiX 的設計基於 Transformer 架構，並針對結構化數據建模進行了優化。模型首先對特徵與目標分別進行 embedding，在主模塊中通過樣本維度與特徵維度的雙重注意力機制，聚焦關鍵樣本與關鍵特徵。提取的高維表示隨後分別輸入回歸頭和分類頭，從而同時支持回歸與分類任務。
LimiX 的訓練數據： LimiX 在預訓練中完全依賴生成數據，而非真實世界數據。為確保生成過程的高效與可控，模型採用基於結構因果圖（SCG）的數據生成方式：初始樣本在有向無環圖上傳播，通過邊映射與節點交互模擬真實因果依賴關係，再從因果圖中採樣得到訓練數據。該方法既保證了數據的因果多樣性，又提升了可控性與泛化能力。
掩碼重構機制：LimiX 對數據的聯合分布進行建模，以提高模型的通用性、增強對特徵交互模式的建模能力。具體地，LimiX 模型在模型優化目標設計中加入了掩碼重構機制：在訓練過程中，通過對數據進行隨機掩碼操作，模型將根據特徵間的因果依賴關係，使用觀測到的數據來重構缺失數據。
2. 核心更新：RBF 嵌入層（RaBEL）
LimiX-2M 僅有 1.94M 參數量，是 LimiX-16M 的八分之一，卻在多個數據集基準上取得強勁、接近 LimiX-16M 的性能表現。
它的核心革新不是 “剪枝” 或 “蒸餾”，而是一次從嵌入層重新出發的結構性更新：引入 RBF（Radial Basis Function）數值嵌入機制。
瓶頸診斷：線性嵌入的 “低秩塌陷”：在 TabPFN-v2、LimiX-16M 乃至早期 FT-Transformer、TabTransformer 等架構中，數值輸入通常採用 “線性映射 + 列 ID” 方案：
這種設計雖然簡單高效，但存在一個系統性的問題 —— 我們稱之為 “低秩塌陷”。具體來說就是：
- 模型淺層激活高度相關，特徵矩陣在奇異值分解後僅保留個位數有效秩（能提取的有效特徵種類非常有限）；
- 網絡早期幾乎處於 “線性近似” 狀態，很難分辨出數據中更複雜的局部變化、分段趨勢或者特殊分布；
- 梯度利用率極低，使得後續層在優化中浪費大量表達能力。
如下圖所示，基於 RBF 嵌入的 LimiX-2M 有效秩很高，而 TabPFN-v2 在前幾層的秩明顯偏低，並且有很大差距。這說明在模型規模相當的情況下，RBF 嵌入能夠為網絡提供更豐富、更多樣的表示基礎。
為了解決嵌入矩陣秩受限這一問題，我們引入了 RaBEL（Radial Basis Embedding Layer），其核心思想是：在嵌入階段就引入非線性表達能力，而非依賴後續層 “補救”。
結果是非線性特徵在嵌入階段提前形成，淺層即可識別非平滑關係，從根本上解決低秩問題。
在科研探索與實際應用結合日益緊密的今天，LimiX-2M 的推出恰逢其時。它成功實現了輕量化與性能的理想兼顧，在大幅度降低了顯存佔用和消耗時間的基礎上，保持前代 LimiX-16M 同時支持分類、回歸、缺失值插補等多樣化能力，性能遠超現有其它表格模型。無論是普通實驗室工作站，還是端側設備、移動終端，LimiX-2M 都能輕鬆部署。這樣的設計讓先進的 AI 能力更加普惠，幫助科研團隊更高效地探索、驗證和落地成果，打通從研究到落地的 “最後一公里”，讓前沿算法能無縫遷移至真實世界，創造出切實的科研與應用價值。