Categories
程式開發

號稱准確率97%的開源肺炎檢測模型:照搬PyTorch教程、50張圖片就訓練完了


最近,一位澳大利亞的人工智能博士候選人在 LinkedIn 上發布了一篇關於 SARS-CoV-2 病毒的研究文章。由於極具話題性且號稱准確率可以達到 97.5%,這篇文章很快得到上萬條評論、點贊與轉發。然而,這樣一個模型卻被扒出背後只用了 50 張圖片訓練。

號稱准確率97%的開源肺炎檢測模型:照搬PyTorch教程、50張圖片就訓練完了 1

一周搭起準確率達 97% 的模型,事實是?

此前,一位澳大利亞的人工智能博士候選人宣布構建了一套深度學習模型,能夠從肺部 X 光片中以 97.5% 的準確率 檢測出患者是否感染了 COVID-19 病毒。因為國外疫情蔓延且醫療設施不足,因此人們對這個成果非常關注,短短時間就收穫到了上萬條評論、點贊和轉發,其還創建了 Slack 工作組,得到了大量讚美。

從目前公佈的消息來看,整個項目具有以下特點:

  • 一套經過訓練的 PyTorch 模型
  • 容器化應用代碼
  • 一套 GitHub庫,並被翻譯為多種語言
  • 正在開發中的 Web 應用程序
  • 正在開發中的移動應用程序
  • 規劃藍圖,有意在 AWS 中利用無服務器架構託管這套模型
  • 在營銷與讚助方面還有大量後續計劃

而以上的一切,都在一周之內快速完成。隨後,Reddit 網友扒出這套解決方案存在幾個嚴重問題,並對此進行了整理與反駁。

號稱准確率97%的開源肺炎檢測模型:照搬PyTorch教程、50張圖片就訓練完了 2

只用了 50 張圖像訓練?

首先,這些網絡的潛在神經表示非常複雜,因此必然需要使用大量訓練樣本才能完成模型訓練。但截至提交時,這款 COVID-19 檢測工具只見過 50 張肺部影像。

對於這樣一套包含 150 多層、超過 2000 萬個參數的網絡來說,如此有限的訓練樣本集顯然極為荒謬。

號稱准確率97%的開源肺炎檢測模型:照搬PyTorch教程、50張圖片就訓練完了 3

該模型通過肺部 X 射線影像進行學習

數據樣本有問題

此外,樣本中可能存在巨大的數據偏差,這 50 張圖片並不包含相關人員是否感染病毒,而僅根據 COVID-19 急性病例造成的肺部操作做出標記。除非肺部已經被病毒破壞,否則該模型根本無法檢測到感染跡象。此外,即使已經出現肺炎症狀,如果尚不屬於急性症狀,仍然無法證明這套模型的準確度。

圖像重複、代碼混亂、模型有問題

最後,這套 COVID 模型基於高人氣基準網絡 ResNet-50。雖然後者確實屬於圖像識別與分類領域的常用方案,但 ResNet 的預訓練一般只涵蓋日常環境下的物體。換言之,ResNet 網絡中的隱藏層更擅長識別幾何形狀與彩色圖像,在 X 射線影像中,我們明顯找不到這樣的模式。也正因為如此,大多數醫學神經網絡才只能選擇從零開始構建的開發方式。

進一步觀察這套代碼庫,我們還發現了不少其他問題。訓練、驗證與測試數據集中包含重複的圖像,大部分訓練過程直接照搬 PyTorch 教程,混有大量不必要的代碼;Github issues 也令人完全無法理解……

GitHub 地址:https://github.com/elcronos/COVID-19

項目負責人回應:我說了項目不可用

最初,個別開發者與項目負責人溝通並提出質疑時,對方回應稱:

xxx,你好,我們的成果已經得到加拿大 xxx 研究機構放射科醫生的支持與認可

然而,隨著質疑聲越來越多,項目負責人更新了 GitHub 中的介紹,並表示:

儘管該項目的結果“看起來很有希望”,但我明確指出該模型遠沒有可用,因此不應將其用於診斷或任何醫療決定。這是在進行中的工作,我們需要具有相關技能的人員的幫助。我還在 GitHub 存儲庫中指出,我正在尋找能夠改善和收集更好數據集的開發者的幫助。

不幸的是,這個項目引起了相關專家的注意,他們沒有註意模型尚未準備就緒,且需要更好的數據集並幫助創建更好的模型,也沒有閱讀我們的所有免責聲明。就指責該項目具有誤導性,甚至有人暗示我對此有商業意圖。這對我的個人生活造成了一些負面影響,因此,我決定暫時退一步,暫時退出社交媒體。至少在接下來的幾天,我將不活躍於此組中。

完整版聲明參照:https://github.com/elcronos/COVID-19

然而,這位負責人此前還在大肆宣揚此項目,並發起籌款。該項目負責人創建了一個包含多個子頻道的 Slack 討論組,其中有 一個 #marketing 頻道,專門用於溝通以及籌措資金。另外,#sponsors 頻道則負責與潛在投資者交流,向其報告未來的投資回報前景。

Slack 討論組:https://app.slack.com/client/T010AJ5H31N/learning-slack

此外,名為 #datascientists 的頻道中沒多少有用的內容,裡面充斥著熱情滿滿但沒什麼經驗的新手。同樣的,#doctors 頻道情況也差不多,唯一有價值的內容就是來自專業醫療人員的反對意見,例如並不推薦利用肺部 X 射線診斷 COVID-19 感染。最後一個子頻道 #researchers 則幾乎沒人。

另一方面,UI/UX 頻道產出的內容倒是頗為豐富。此項計劃目前已經擁有 5 款不同的徽標,外加一套專門用於移動與 Web 應用程序的界面。

因此,對於這份聲明,大部分開發者並不買賬,不少人認為 在當前的特殊情況下,這類存在嚴重問題的項目不應發布並大肆宣傳(甚至有開發者調侃道宣傳的工作量大概是開發工作的 20 倍)。

醫學診斷中的深度學習

深度卷積網絡在疾病的診斷與治療方面確實具有一系列潛在優勢。近年來發表的眾多科學出版物中都在高度關注這一全新發展方向:

  • 2016 年,來自倫敦的一組研究人員發表一種新方法,以包含 8 萬張眼底照片的數據集為基礎,能夠以 86% 的準確率診斷出患者因糖尿病引發的視網膜病變。
  • 同一年,來自烏干達的研究人員利用包含 10000 個對象的數據集,評估了卷積神經網絡(CNN)對微觀血液塗片的分析能力。
  • 兩位日本研究人員通過包含 55 萬例 CT 掃描影像的數據集,對肺結節進行一輪規模浩大的分類操作。

但前文提到的新冠病毒檢測完全不同,稍微瀏覽其公佈的代碼庫,就能看出該作者對深度學習及 AI 技術的認知嚴重不足。更糟糕的是,眾多開發者都在質疑其明顯是想利用此次疫情爆發對自己進行推廣。

說好的代碼改變世界呢?

深度學習絕不是百試百靈的解決方案。近年來,無數沒有做好準備的企業匆匆在內部建立起數據團隊,最終卻發現成本迅速提升的同時得不到任何有意義的產出。

此前,李飛飛在接受訪談時曾提到:

泡沫確實存在,過度誇張、炒作可以說鋪天蓋地。作為科學家,我希望這些泡沫都盡快消散。只有關注堅實內核的人們才能推動 AI 進步並帶來真正的收益,這一點在醫療保健與醫藥等領域尤其重要。

另外,我們絕不應該利用技術製造不公、偏見或者擴大原已存在的不平等現象。對於 AI 技術,我希望盡可能降低它的接觸門檻、增加公平性並緩解種種相關矛盾。只要處理得當,我們完全有機會利用 AI 技術創造出更美好的未來。當然,前提是我們得認真梳理現有 AI 成果,弄清哪些是捏造的、哪些是真實的。

延展閱讀:《李飛飛最新訪談:希望 AI 領域泡沫盡快消散,尤其是醫療部分》

如今,AI 技術仍然在以開創性的方式推進。忽略掉這一點,很容易陷入炒作的泥潭。

說到這裡,任何有理智的開發者都不會貿然進入,將自己的命運完全交給運氣。相反,只有首先建立起擁有 AI/ML、DataOps、架構、開發等領域專業知識的團隊,才有可能在這場攻堅戰中勝出。

最後,代碼不能讓世界變得更好也無妨,別禍亂即可。

參考鏈接:

https://www.reddit.com/r/MachineLearning/comments/fni5ow/d_why_is_the_ai_hype_absolutely_bonkers/

https://www.reddit.com/r/MachineLearning/comments/frno4g/n_remember_that_guy_who_claimed_to_have_achieved/

https://medium.com/@antoine.champion/detecting-covid-19-with-97-accuracy-beware-of-the-ai-hype-9074248af3e1