論文被拒,LeCun喊冤?我雖大肆宣傳,但不影響“雙盲審”公正



新智元報道

來源:網路

編輯:好睏 小鹹魚

【新智元導讀】LeCun最近在推特上表示,他的一篇文章已被NeurIPS 2021拒絕,但他依然非常自豪:「問題不在於NeurIPS,而在於新興領域頂會的篩選做法」。儘管LeCun表達了他對雙盲評審的認可,關於雙盲評審是否是一件好事的討論仍在繼續。

要說最近什麼話題熱度高,那肯定少不了圖靈獎得主Yann Andre LeCun的文章被NeurIPS 2021拒稿了。

在論文上傳到arXiv之後,LeCun便去Twitter和Facebook做了宣傳,在拒稿之後更是Twitter、Facebook、LinkedIn齊發。LeCun表示,因為是「雙盲」的原因,所以審稿人並不知道論文的作者。

當然了,網友們對這個說法似乎並不買賬。


Twitter


Facebook


Linkedin

這篇題為:「VICReg: Variance-Invariance-Covariance Regularization for Self-Supervised Learning」的論文,自5月以來已收到12次引用。


https://arxiv.org/pdf/2105.04906.pdf

NeurIPS給出的拒稿理由是「VICReg」與發表在ICML2021上的「Barlow Twins」差異不大。


https://arxiv.org/pdf/2103.03230.pdf

然而LeCun認為,相比而言,VICReg引入了方差正則化,使其可以適用於更廣泛的架構。


不過,VICReg「精心設計」的3項損失函式中,除了「方差項」是創新以外,「不變項」是經典約束項,「協方差項」則借鑑了自己之前的論文Barlow Twins。

眾所周知,Yann LeCun是紐約大學Courant數學科學研究所的教授,也是Facebook的副總裁、首席人工智慧科學家,美國國家科學和工程院以及國家工程院的成員。

作為公認的卷積網路(CNN)之父,LeCun在人工智慧、機器學習、深度學習、計算機視覺、智慧資料分析、資料探勘、資料壓縮和機器人等方面具有著豐富的學術和工業經驗。

此外,LeCun也是DjVu影象壓縮技術和Lush程式語言的共同創造者。

延伸閱讀  Intel 12代i9-12900K真身近照:16核心衝上4.5GHz

自然,這樣一位人物的論文被拒確實有些出乎意料,也讓學術界和人工智慧領域的不少人感到震驚。

雙盲的勝利?

對於LeCun被拒稿,有網友表示不解:「考慮到Yann LeCun在AI界的成就,NeurIPS 2021的審稿人有可能拒絕LeCun教授寫的論文嗎?」

LeCun則表示:「這些年我有許多論文都被NeurIPS拒了。NeurIPS的評審是以雙盲的方式進行的,這意味著評審員不知道作者的身份。這是件好事,一篇論文不應該僅僅因為其中一位作者的名氣而被接受。此外,對於寫論文的學生來說,接受審稿人的意見是非常有益的。不過,在被拒絕的文章中,有一些是我認為非常好、非常吸引人的,例如這一篇。」


雖然NeurIPS採用「雙盲審」的機制,但是網友犀利地指出,LeCun發的這條推文得到了很多人的點贊和轉發。在此聲稱這是一個適當的雙盲審過程實在有點牽強。


雙盲同行評審,即作者和審稿人雙方都保持匿名,只有編輯才知道各方的身份。

但如果通過媒體大肆宣揚你的工作,那就讓盲審失去了本來的意義!

為啥呢?如果你作為評審人接觸到了一個擁有大量追隨者和資源,並同時進行社交媒體推廣的作者的作品,你會不由自主被影響「那麼多人覺得這是一個好工作,這應該不會太差吧」,這樣一來,對追隨者較少或不參加此類社交推廣活動的作者自然是不公平。

今年的 CVPR 2021的PAMI TC會議上提出了一條動議,主要內容是:

在審查期間,禁止在社交媒體上宣傳論文。被排除在這一禁令之外的是 arXiv 自動釋出的新預印本。


LeCun立刻就提出了反對:「限制交流會阻礙學術進步,而且違背道德規範。CVPR的這項新政策瘋了!」


那麼這次LeCun的論文被拒稿,到底是不是評審人成功地遵守了「雙盲」的原則呢?

最近正好有一篇由谷歌和劍橋大學的研究人員撰寫的關於NeurIPS 2014同行評審結果的研究。


https://arxiv.org/pdf/2109.09774.pdf

論文重新審視了2014年的NeurIPS,結果表明評審員質量分數的變化有50%是主觀因素造成的。

作者發現在過去的七年中,對於被接受的論文來說,質量分數和論文的影響力之間沒有任何關聯;而對於被拒絕的論文來說,二者之間則存在關聯。

簡而言之,從NeurIPS 2014的結果來看,會議的評審過程有利於「差論文」的識別,但不利於發現「好論文」。

LeCun對此表示,「問題不在於NeurIPS,而是在高速成長的領域中,有高選擇標準的會議的審查習慣所帶來的的一個普遍問題」。


於是,問題似乎又回到了原點。一邊是在社交媒體大肆宣傳自己的論文,一邊是難以判斷優質論文的主觀評審。

「引用」多 != 好論文

LeCun的推特下有人評論道:即使這篇論文被拒,但這篇論文也因為「Yann LeCun論文被拒」這一訊息得到了比大多數NeurlPS論文都要多的關注機會。

延伸閱讀  來,就花五分鐘時間,找到寧德時代這樣的大機會!

LeCun認為「這篇文章是值得閱讀的,因為它已經得到了比大多數NeurlPS論文都多的引用次數」。


針對引用次數是否能代表論文質量這一問題,Reddit的網友也展開了激烈的討論,有博主認為「一篇文章已經被引用了12次,然而在得到官方發表的時候還是十分艱難,這說明傳統的會議和發表流程週期實在太長了,這個非常值得關注的問題」。


但是反駁的聲音並不少:

「質量不高的論文引用數比高質量論文多這種事也經常發生,倒不是說LeCun這篇不行,只是12次引用這種東西其實並不能說明太多問題。」


「在一個新論文層出不窮的領域,你覺得作者在引用他人文章前會把這篇文章好好看再細細品嗎?當然不會。」


「LeCun可能產出垃圾文章但是收穫一堆引用,如果一個無名小卒的論文得到了很多引用,卻沒有發表機會,這就完全是另一碼事了。」


原博主認同「引用數和論文質量不掛鉤」,他想強調的是「實際研究進展是比論文發表要快的,所以出版和審查系統需要改進,不能總是讓論文在發表前被引用這種事發生」。


下方的回答也指出了「引用未審閱的工作是真正的問題」,但仍然堅持「儘管審閱發表的流程是挺慢的,但是審閱的過程是無可替代的」。


論文概述

VICReg是一種非常簡單有效的聯合嵌入體系結構(Joint-Embedding Architectures,JEA)自監督訓練影象表徵學習方法,它將問題分解為三個不同的原則:用不變項學習對不同檢視的不變性,用方差正則項避免表徵的崩潰,用協方差正則項將資訊分散到表徵的不同維度。

聯合嵌入體系結構(JEA)由2個可訓練模型Gx(x)和Gx'(x’)組成,用成對的「相容」輸入(x,x’)訓練。例如:x和x’是同一個影象的變形版本。

該工作解決的主要問題是模型訓練時的崩潰,VICReg是為聯合嵌入體系結構(JEA)精心設計的損失函式,由3項組成:

方差項:採用鉸鏈損失,以維持Gx(x)和Gx'(x’)的每個組成部分的標準偏差維持在一個邊界以上,這是該論文的創新之處。

不變項:即||Gx(x)-Gx'(x’)||^2,這是經典的約束項。

協方差項:即Gx(x)和Gx'(x’)的協方差矩陣的偏離項的平方和,此項借鑑了Barlow Twins中的思想。

在幾個下游任務中,VICReg獲得了與最新技術水平相當的結果,擴充套件了非對照性自監督學習的前沿。


每個處理批次的協方差矩陣的計算決定了VICReg的計算和記憶體成本,而協方差矩陣的計算在投影向量的維度上是二次方的。實驗表明,提高投影的維度可以顯著提高效能,這表明需要有不依賴協方差矩陣的全部計算的替代性冗餘減少方法。

VICReg使用線性分類器頭在ImageNet上,在低資料狀態下的半監督ImageNet上,還有在下游任務的遷移學習上,都取得了有競爭力的結果。

當與SimSiam等方法一起使用時,方差鉸鏈項可以防止崩潰,還可以減少對批處理範數或預測器的需求。


在 ImageNet 上的評估結果


在下游任務上的遷移學習結果


在不同架構中加入方差和協方差正則化的效果

總結下來,VICReg的主要特點為:

採用簡單的方差鉸鏈損失,很好地控制模型訓練時的崩潰(見PyTorch虛擬碼)

不需要批標準化或通道標準化 (儘管這有點幫助)

兩個分支之間無需共享權重(儘管在實驗中權重是共享的)

延伸閱讀  大地風景文旅集團總裁姚瑛:每個專案都要做好市調基礎模型資料分析

不需要平均移動權重、梯度停止、預測器、負樣本挖掘,儲存體,最近鄰和種種量化/蒸餾手段


參考資料:

analyticsindiamag.com/yann-lecun-paper-rejected/

arxiv.org/pdf/2105.04906.pdf

arxiv.org/pdf/2109.09774.pdf

facebook.com/story.php?story_fbid=10157921242067143&id=722677142

linkedin.com/posts/yann-lecun-0b999_yann-lecun-activity-6850419687931592704-tWKo/

reddit.com/r/computerscience/comments/q0j4vh/yann_lecuns_paper_gets_rejected_from_neurips_2021/hf8nvvv/

twitter.com/ylecun/status/1392493077999325191

twitter.com/ylecun/status/1409393630310248452

twitter.com/ylecun/status/1443133393986748421

zhuanlan.zhihu.com/p/385382149



Scroll to Top