Categories
程式開發

是時候結束BERTology了


本文最初發表於Medium 博客,經原作者Walid Saba 博士授權,InfoQ 中文站翻譯並分享。

背景

基於三個技術(理論上的、科學上的)原因,由數據驅動/ 定量/ 統計/ 機器學習的方法(我統稱為BERT 學(BERTology)),是完全毫無希望的、徒勞的努力,至少在語言理解方面是如此。我明白,這是個很大的主張,特別是鑑於當前的趨勢、媒體的誤導性宣傳,以及科技巨頭們在這一完全有缺陷的範式上花費了巨額資金。正如我在自己的出版物、研討會和帖子中所反复提到的那樣,人們常常跟我說:“但是,所有那些人真的都錯了嗎?”好吧,現在我要統一地回答: “是的,他們確實可能都錯了。”我是以偉大的數學家/ 邏輯學家波特蘭·羅素(Bertrand Russell)的智慧說出這番話的。羅素曾經這樣說過:

一個觀點已被廣泛持有的事實並不能證明它不是荒謬絕倫的。 (The fact that an opinion has been widely held is no evidence whatsoever that it is not utterly absurd.)