Categories
程式開發

Uber的合成訓練數據將深度學習的速度提升了9倍


Uber人工智能實驗室開發了一種名為生成式教學網絡(GTN)的算法,該算法為神經網絡生成合成訓練數據,使得神經網絡的訓練速度比使用真實數據時更快。利用這些合成數據,Uber將其神經結構搜索(NAS)深度學習優化過程提升了9倍。

在arXiv上發表的一篇論文中,該團隊描述了這個系統和一系列的實驗。 GTN的動機來自神經結構搜索(NAS)問題,它訓練許多不同的深度學習模型結構,並針對一組測試數據選擇表現最好的一個。雖然一種典型的方法是在完整的數據集上通過多次迭代(或epoch)訓練每個模型,但這既耗時又昂貴。不過,模型可以在GTN的合成數據上進行訓練,耗時更短,並且可以對其在真實訓練數據上的真實表現進行估計;這樣可以快速地對模型進行評估,縮短了搜索時間。據研究人員稱:

GTN-神經結構搜索(GTN-NAS)堪比目前最先進的NAS方法,這些方法的表現最好,並且計算量比典型的NAS方法少幾個數量級。

神經結構搜索是自動機器學習(AutoML)中一個活躍的研究領域。 NAS有一個缺點,它需要訓練許多深度學習模型來確定哪個模型表現得最好。該研究主要側重於高效探索搜索空間,這意味著該系統將訓練更少的模型。 Uber的系統生成了一個新數據集,使得每個模型迭代訓練的次數更少,這樣,系統就可以在相同的時間內試驗更多的模型。

通過較少的迭代訓練模型存在的問題是,在非常早期的訓練階段,大多數模型的性能都很差,需要多次迭代來確定模型的真實性能。不過,研究表明,並不是所有的訓練樣本都這樣,仔細選擇輸入樣本可以加快訓練速度。 Uber的想法是使用元學習來生成訓練樣本。與生成對抗網絡(GAN)類似,Uber的GTN會訓練一個生成器神經網絡,為學習者網絡生成訓練樣本。學習者根據真實的測試數據進行評估,生成“元損失”,並用元損失的梯度更新生成器。利用這項技術,Uber創建了一個生成器,生成用於訓練計算機視覺(CV)系統識別MNIST數據集中的數字的樣本。 CV系統只需32個訓練步驟就能達到98.9%的準確率。 Uber表示,在CIFAR10數據集上的一個類似實驗中,他們使用合成數據通過128步就可以預測模型性能,而使用真實數據需要1200步,速度提高了9倍。

論文的共同作者Jeff Clune在推特上發了一張由該系統生成的合成圖像數據的圖片,並將其描述為“另類的、不現實的”。他還說:

在神經結構搜索中,GTN生成的數據完全可以替代真實數據,這樣可以極大地加快任何NAS算法的速度。到目前為止,我們只展示了隨機搜索-NAS(加上一些花哨的功能),但是我們希望看到其他人嘗試下其他更高級的NAS方法!

原文鏈接:

Uber’s Synthetic Training Data Speeds Up Deep Learning by 9x