Categories
程式開發

AI復活的那些“失落藝術”


這世上總是避免不了遺憾,但終歸有些美好會在“不經意間”補全。 AI技術的存在,為這種補全,提供了新的選項。

喜歡古典音樂的朋友,想必對貝多芬都有著一些了解,然而令人遺憾的是,這位扼住命運喉嚨的男人,終歸是在其完成《第十交響曲》的前夕,溘然長逝。不過,近期的一則消息或許讓這一遺憾出現新的轉機:《第十交響曲》將由人工智能完成,而這項實驗的結果也將由一支完整的交響樂團在2020年4月28日在德國貝多芬的出生地波恩公開奏演。

AI復活的那些“失落藝術” 1

你會去聽AI續寫的《第十交響曲》嗎?

時值貝多芬誕辰250週年之際,為紀念這位偉大作曲家為人類音樂藝術留下的寶貴財富,一個國際化的團隊將利用AI技術續寫貝多芬生前未完成的《第十交響曲》 。

為了還原或者說是創作經典,一群音樂學家和程序員聚在一起,通過貝多芬未完成的《第十交響曲》和《英雄》等作品的片段來訓練人工智能,然後由AI即興創造出《第十交響曲》剩餘的部分。

Herbert von Karajan研究所所長、項目負責人Matthias Roeder對《法蘭克福週日新聞》說:長久以來,機器從來沒完成過這樣的任務,這是史無前例的一次嘗試。

Roeder還表示,該AI算法正在取得積極進展,它無時無刻不在變化,就像一個懵懂的小孩子在探索貝多芬的世界。但令人遺憾的是,我們並沒有找到該算法的具體細節。

貝多芬譜寫了著名的《第九交響曲》,家喻戶曉的《歡樂頌》就是《第九交響曲》其中的一部分。有證據表明,他生前仍然還在創作《第十交響曲》。但遺憾的是,當這位德國作曲家於1827年去世時只留下了部分草稿和筆記。

技術角度的AI作曲

所謂AI編曲和作曲,本質上是運行一個複雜的AI模型,來對不同的音樂、樂器、節奏、樂理等規則進行學習和反向輸出。而且AI作曲也並非獨一無二的技術,在今年2月份,華為就憑藉遷移到Mate20Pro 上的AI模型,續寫了舒伯特的《d小調第8號交響曲》,並在倫敦的一場音樂會上進行了公演。

華為工作人員阿爾內·赫克爾曼表示,利用AI作曲,就像教孩子學習一門語言,開始的時候,他們會犯錯誤,糾正後還會犯新的錯誤,所以需要不斷地糾正、不斷地重複。

OpenAI的MuseNet模型

今年4月,OpenAI也對外發布了一款新型深度神經網絡模型 MuseNet,該模型不但可調用 10 種不同樂器生成時長約 4 分鐘的音樂作品,而且能夠融合從鄉村到莫扎特再到披頭士等各種音樂風格。

據悉,MuseNet 並非基於人們對音樂的理解進行編曲,而是通過學習預測數十萬 MIDI 文件中下一個音符,來找到和聲、節奏和曲風的模式。與 GPT-2 相似,MuseNet 同樣採用多功能無監督技術。 GPT-2 是一種大規模 transformer 模型,經過訓練即可預測音頻以及文本序列中的下一個音符。

相關Github地址:https://github.com/MrCheeze/musenet-midi

微軟小冰

小冰的起步較早,在去年 KDD 2018 大會上,微軟小冰團隊的論文《XiaoIce Band: A Melody and Arrangement Generation Framework for Pop Music》(《小冰樂隊:流行音樂的旋律與編曲框架》 )就獲得了Research Track最佳學生論文。

論文中提到,微軟團隊設計了一種基於和弦的節奏和旋律交叉生成模型(CRMCG),可以生成帶有和弦進行的旋律。而且還提出一種基於多任務學習的多樂器協同編曲模型(Multi-Instrument Co-Arrangement Model,MICA)。

另外,微軟小冰的AI音樂才華出眾,目前已發布數十首接近人類演唱水平的單曲,演唱模型迭代至第五個版本。全新的演唱模型,包括跨越多種演唱技巧的多個聲音模型,並提升人工智能歌曲演繹的更高技巧和多風格化,實現了在不同的演唱技巧之間自然過渡。

相關Github地址:https://github.com/BennyThink/realXiaoice

AI在行動

除了續寫音樂殘篇,AI還可以從另一個方面發揮作用,比如修補名畫、修復老舊照片等。

名畫修補

AI復活的那些“失落藝術” 2

《根特祭壇畫》

著名的藝術珍品《根特祭壇畫》,自完成之後便歷經磨難,但在AI技術的加成下,名畫修補成為了一件輕鬆的事。

在根特祭壇畫的修復中, 利用X 射線圖像掃描技術進行成像是常見的修復技術,但如何將混合了雙面板的 X 射線圖像,分離成相應單面 X 射線圖像是一個巨大的挑戰。為此,倫敦大學和杜克大學的研究者們,提出了一種基於卷積神經網絡(CNN)的自監督框架,

這種自我監督的神經網絡,可以學習如何將RGB 圖像轉換為X 射線圖像,然後作為單面板的虛擬圖像“重建”,然後通過最小化重建X 射線圖像的誤差,比較與原始混合的X 射線圖像之間的差異,進而讓模型實現這種分離。

具體細節上,他們構建了七層的 CNN ,每個卷積層之間含有批量歸一化和整流線性單元(ReLU)激活層。網絡的結構受到了 pix2pix 結構啟發(pix2pix 使用條件對抗網絡進行圖像到圖像轉換)。

AI復活的那些“失落藝術” 3

將 RGB 圖像轉換為 X 射線圖像的神經網絡結構

增強與修復照片

日前,一組林青霞的照片引起了不小的討論,而“AI 老照片修復”也逐漸進入到大眾的視野。事實上,相對於名畫修補,老舊照片的修復可能相對而言較為簡單。

InfoQ在《一鍵高清還原老照片:全方位解讀美圖影像實驗室MTlab 人像畫質修復技術》一文中對相關技術進行了揭秘,總結來講,美圖的相關修復技術主要是藉鑑了深度學習技術,如降噪、增強、超分、強化學習等,在自研生成網絡結構BeautyGAN 的基礎上,結合對抗式生成網絡的前沿技術,使BeautyGAN 具備良好的人像修復能力。

另外,美圖影像實驗室 MTlab 已經對外正式發布了“美圖 AI 開放平台”( ai.meitu.com ),而且據美圖技術人員透露,目前的美圖 AI 開放平台開放了人臉技術、人體技術、圖像識別、圖像處理、圖像生成等幾大類核心 AI 技術。這些技術可通過雲端 API/ 移動端 SDK/ 定制解決方案等多種方式對外提供經過市場驗證的專業 AI 算法服務。

AI復活的那些“失落藝術” 4

寫在後面

AI技術的快速發展是好事,對經典、藝術的再加工亦可以實現更多的美好。但是,AI技術本身就是一把“雙刃劍”,在一切美好背後也會隱藏著“作惡之心”,Deepfake的濫用就是一個很顯而易見的例子。至於如何讓這把“劍”利已不傷人,在“彌補遺憾”的同時不去“作惡”,這將是未來很長一段時間我們需要思考和解決的問題。