Categories
程式開發

微軟北大造出超逼真AI換臉框架,順便搞了個偽人臉檢測器,網友:自造矛和盾?


以Deepfake 為代表的AI 換臉技術營造出的“以假亂真”的效果讓人感到細思極恐,不過現有的一些生成工具還不能達到完全逼真的換臉效果,有的存在不少破綻,有的換臉效果很不自然,能輕易讓人識別出來。近日,微軟和北大的研究人員提出了一種新的 AI 換臉框架— FaceShifter,其能夠大大提高換臉的高保真度。 AI 換臉技術在爆紅的同時也伴隨著因濫用帶來的隱憂,研究團隊還提出了一種檢測偽造人臉圖像的方法—Face X-Ray,能夠檢測出複雜的偽造人臉圖像。

近日,微軟研究院和北京大學的研究團隊發表了2篇學術論文,一篇關於生成高保真圖像且能識別遮擋物的人臉交換框架— FaceShifter,另一篇關於檢測偽造人臉圖像的方法——Face X-Ray。

研究人員表示,這兩項技術優於以前許多同類技術,所需數據也更少,且不會以犧牲性能代價。
微軟北大造出超逼真AI換臉框架,順便搞了個偽人臉檢測器,網友:自造矛和盾? 1

微軟的FaceShifter與現有方法對比

據了解,FaceShifter能用源圖像中的人替換掉目標圖像中的人,同時保留了頭部姿態、面部表情、光線、顏色、強度、背景和其他特徵。但像Reflect和FaceSwap這樣的應用程序聲稱也可以準確地做到這一點,但是微軟論文的合著者表示,FaceShifter對姿勢和視角變化更加敏感。

FaceShifter通過生成式對抗網絡(GAN)來提高人臉交換的保真度,自適應嵌入集成網絡(AEI-Net)是一款由一個生成器組成的AI模型,該生成器的作用是迷惑鑑別器,讓鑑別器把合成的樣本歸類為真實樣本。它可以在不同空間分辨率中提取屬性。

值得一提的是,AEI-Net整合了研究人​​員所稱的注意力非正規化(AAD)層,該層可自適應地學習在哪裡整合面部屬性,而單獨的模型“啟發式錯誤識別細化網絡(HEAR-Net)”,則利用了重建圖像與其輸入之間的差異來識別斑點遮擋。

微軟北大造出超逼真AI換臉框架,順便搞了個偽人臉檢測器,網友:自造矛和盾? 2
微軟北大造出超逼真AI換臉框架,順便搞了個偽人臉檢測器,網友:自造矛和盾? 3

來自FaceShifter上的示例

再來單獨感受下周杰倫“換臉”的過程~

微軟北大造出超逼真AI換臉框架,順便搞了個偽人臉檢測器,網友:自造矛和盾? 4

微軟的研究團隊表示,在定性測試中,FaceShifter 保留了人臉輪廓,並準確地還原了目標的光線和圖像分辨率。此外,即使是從互聯網上抓取的“陌生面孔”,該框架也學會了在不依賴人工標註數據的情況下恢復異常區域——包括眼鏡、陰影和反射效果,以及其他遮擋物。

研究小組稱,“這款框架在生成逼真的人臉圖像方面表現優異。大量實驗表明,該框架明顯優於以前的人臉交換方法。”

與現有的框架不同的是,FaceShifter不需要事先了解操作方法,也不用人工監督。相反,它生成灰度圖像,提示給定輸入圖像是否能分解成不同來源的兩張圖片的混合。研究小組表示,這是可行的,因為大多數面部處理方法都有一個共同的步驟,那就是將改變過的臉部混合到現有的背景圖像中。在混合過程中,每幅圖像都夾雜著各自獨特的標記,這些標記要么來自硬件(如傳感器和透鏡),要么來自軟件組件(如壓縮和合成算法),而且這些標記與整幅圖像趨於融合。

微軟北大造出超逼真AI換臉框架,順便搞了個偽人臉檢測器,網友:自造矛和盾? 5

我們再來說一說Face X-Ray。 Face X-Ray不需要依賴與人臉“造假技術”相關的知識,並且,Face X-Ray的算法可以在不通過任何方法生成偽圖像的情況下進行訓練。

與FaceShifter不同的是,Face X-Ray的作用是用於檢測偽造的虛假頭像。目前,偽造頭像被濫用的情況橫行網絡。去年6月,一份報告顯示,一名間諜利用AI生成的個人資料圖片欺騙了LinkedIn上的聯繫人,同年12月,Facebook發現了數百個利用AI合成的假臉作頭像的虛假賬戶。研究人員表示,確實需要像Face X-Ray這樣的工具來檢測深度偽造的圖像。

FaceForensics ++是一個大型視頻語料庫,其中包含四種使用先進人臉操作方法操作的1000多個原始剪輯。研究人員在FaceForensics ++上對Face X-Ray進行了訓練。研究人員評估了Face X-Ray歸納四個數據集的能力,其中包括FaceForensics ++語料庫的一個子集;Google發布的上千個可視化Deepfake視頻;來自Deepfake檢測挑戰的圖像; 以及一個包含408個真實視頻和795個合成視頻的語料庫Celeb-DF。

結果表明,Face X-Ray能夠分辨出以前從未見過的偽造圖像,並能準確地預測混合區域。該團隊指出,他們的方法是針對混合圖像的,因此,它可能不適用於完全合成的圖像,可能被對抗樣本騙過。暫且撇開這個不談,研究團隊認為,這是邁向偽造人臉檢測的重要一步。

原文鏈接:

https://venturebeat.com/2020/01/06/microsoft-researchers-propose-face-swapping-ai-and-face-forgery-detector/

論文鏈接:

FaceShifter:https://arxiv.org/pdf/1912.13457.pdf

Face X-ray:https://arxiv.org/pdf/1912.13458.pdf