Categories
程式開發

AI 數據標註不是“臟活累活”


如果將人工智能比作“火箭”,那麼,數據就是助推火箭上升的“燃料”。機器學習依賴大量的已標註數據,數據標註讓機器理解並認識世界。數據標註是人工智能發展過程中不可缺的一環,是AI金字塔構建的基礎力量。與AI “台前”的繁榮、高光形成鮮明對比的是,數據標註往往居於幕後,常被人忽視,也受到一些偏見,“血汗工廠”、“AI富士康”、“新型民工”…隨著AI深入落地對數據提出更高的要求,數據標註行業也從草莽生長階段逐漸過渡到更精細化的成長期。

“AI金字塔”背後的數據標註

數據是機器學習的基礎,機器學習建立在數據建模基礎上,豐富的標籤是機器學習成功建模的前提。監督學習是目前應用最廣泛的機器學習算法,該方法強依賴標註數據,它通過學習大量標註的訓練樣本來構建預測模型。深度學習也需要大量數據的“投餵”,以深度學習為代表的機器學習框架都需要在大型的監督數據集上進行訓練,百分點首席算法科學家蘇海波曾表示,深度學習只有在擁有充足標註數據的場景下才能發揮它的威力,但在很多實際的應用中卻沒有足夠的標註數據。

AI技術在全場景的落地以及大數據時代的到來產生了海量、指數級別的數據,數據獲取也相對變得容易,然而,想要獲得大量的已標註數據卻並不容易,往往需要付出很大的人力、物力、財力成本。在醫療AI等專業門檻較高的細分領域,缺乏標註數據就成了阻礙行業發展的“絆腳石”,騰訊優圖實驗室總監鄭冶楓曾在接受AI前線採訪時表示,醫療數據標註“難”一方面體現在頂尖的醫療數據標註人才缺乏,另一方面,臨床、科研任務重,很多醫療專家沒有時間和精力做數據標註。

數據標註主要是針對語音、圖像、文本等進行標註,主要通過做標記、標重點、打標籤、框對象、做註釋等方式對數據集作出標註,再將這些數據集給機器訓練和學習。數據標註的類型主要有:拼音標註、韻律標註、詞性標註、音素時間點標註、語音轉寫、分類標註、打點標註、標框標註、區域標註等等。由於需要標註的數據規模龐大且成本較高,一些互聯網巨頭及一些AI公司很少自己設有標註團隊,大多交給第三方數據服務公司或者數據標註團隊來做。

數據服務是標貝科技的起家業務,自2016年成立以來,標貝科技為BAT、AI獨角獸等多家公司提供過語音、圖像、NLP數據的採集、標註等服務。據標貝科技數據負責人繆冠瓊介紹,標貝有自研的採集標註平台,包括長語音(對話、持續)標註平台和短語音(十幾秒)標註平台, AI語音合成數據標註平台、數據工場APP等。在標註平台的選擇上,會依據圖像、語音數據、數據來源、客戶需求等綜合決定。以語音合成數據標註為例,會標註其音字、韻律、音素時間點、詞性等標籤。

人工智能的繁榮催生並壯大了數據標註行業,也創造了大量的就業崗位。有數據顯示,目前中國的全職數據標註從業者有約20萬人,兼職數據標註從業者有約一百萬人,全國從事數據標註業務的公司約有幾百家。

數據“民工” ?

在數據標註行業流行著一句話,“有多少智能,就有多少人工”。數據標註是人工智能發展中至關重要的一環,卻常常容易被人忽視。

相對而言,數據標註是人工智能領域“入門級”的工種,單從工作流程看,其技術含量較低,人是這項工作中最大的影響“因素”,久而久之,“勞動密集型”成為外界給數據標註行業貼上的一個標籤。低門檻吸引了眾多農民、學生、殘疾人群體加入到數據標註大軍中,在我國河南、河北、貴州、山西等地的四五線城市還出現了一些特色的“數據標註村”。

不止中國,向勞動力更充足、成本更低的地方遷移也是全球數據標註行業的發展趨勢。印度湧現了不少數據標註村,他們為美國、歐洲、澳洲和亞洲的AI公司服務,Facebook就曾將部分社交內容標註的工作外包給了一家印度公司。

上述務工者也由此成為了人工智能浪潮中的參與者,儘管待遇上遠遠少於其他人工智能從業者,但相較傳統的體力工作,數據標註員的工作倒是更輕鬆,體面。不過,硬幣的另一面是,這項工作流程簡單,單調乏味,數據標註員日復一日重複“畫框”的工作…關於數據標註行業是“臟活累活”、“數據民工”的論調也四散而起。

對於這些“聲音”,繆冠瓊並不認同。

“我覺得(它)不是'臟活累活'行業,因為這並不是一個什麼人都可以做的工作。AI本身發展很快,隨著應用產品落地,對數據的要求越來越高,對數據採標人員的素質也提出了高要求“。考慮到外包團隊服務質量難以把控等因素,標貝科技所承接的項目主要依靠自有數據標註團隊,其在天津、長春等城市設有數據團隊,兼職人員則視項目大小臨時擴容,遴選兼職人員時更考慮專業水平,要求具有語言、方言背景,或者有數據標註經驗,無經驗者要經過至少6個月培訓。

繆冠瓊表示,數據標註行業的發展越來越趨向於專業化,早期多以中文數據標註為主,現在隨著多語種、方言、個性化標註等發展標註需求的增加,並不是隨便“拉來”很多人就可以做的,需要專業的人才。此外,“血汗工廠”這種情形多出現在行業早期且多針對於只有數據標註一項業務的小團隊,它們承接不了一些複雜的、定制化的項目。從工作量上看,結合客戶需求,以語音標註為例,標貝科技的數據標註員一個人工作一天的有效標註語音時長為1小時。

機器標註比重提升,但不可能取代人工

蠻荒時代已過去了。

《2019年中國人工智能基礎數據服務行業白皮書》分析指出,2010-2016年為數據服務行業的“初生期”,早期數據標註需求激增,加之入行門檻低,湧入了大量玩家,魚龍混雜。自2017年以來,伴隨著AI深入落地到各個應用場景中,數據標註行業了進入成長期,上層應用端的廠商對數據標註質的要求不斷提高,如自動駕駛、運動圖像、計算機視覺等領域的數據標註難度很高。

行業格局漸漸清晰,馬太效應明顯。據了解,國內從事數據標註業務公司/團隊約有幾百家,其中獨立做整個數據質量服務的約百餘家,能夠提供數據採標服務一體化的有幾十家,能夠提供高標準基礎數據服務的僅有十幾家。現階段,下游AI算法研發單位多將業務分流給不同數據服務公司加之數據標註相關標準待完善,該行業還沒有出現大的巨頭公司。

這是一個尚未飽和的市場,同樣,這也意味著巨大的發展空間。據統計,2018年中國人工智能基礎數據服務市場規模為25.86億元,行業年復合增長率為23.5%。

繆冠瓊認為,受數據安全和質量標準不斷提升及相關數據政策出台影響,一些不滿足行業標準及客戶需求的將會被市場淘汰。她補充,“行業目前正處於一個上升的、快速發展的階段,整體在朝著個性化、專業化的方向發展,從早期較簡單的、通用的數據過渡到更複雜的個性化的、場景化的數據,對於很多細分領域,需要大量真實的模型進行標註去迭代模型,而非簡單的通用數據可以滿足的”。

數據標註行業也已經開始進入到人機協作的階段,數據標註市場需求量仍舊很大,需要更加專業的人及高效的機器協助,機器標註所佔的比重會不斷提升,AI技術與數據互補,通過AI技術提升數據效率,數據反過來服務於技術。

為降低人工成本,提高效率,不少互聯網技術公司及第三方數據服務商在開發自己的標註工具。去年10月,Google 發布了用於完整圖像標註的人機協作接口 Fluid Annotation,利用它標註圖像中每個對象和背景區域的類標籤與輪廓,可將標註數據集的創建速度提高三倍。數據標註眾包平台也不斷湧現,京東眾智、百度眾測、figure-eight、亞馬遜的Mechanical Turk等。

未來,機器標註、人工輔助將成為可以預見的發展趨勢。這對“數據標註村”來說或許並不是一件好事。但繆冠瓊認為,機器不可能完全取代人工。現階段人工標註的準確度要高於機器,機器只能跑出有一定比例的正確結果,更精確的結果仍需要人工來標註,且發揮的作用更關鍵。此外,在質檢環節,人的作用也無可替代,標貝數據校對採用人工為主的處理方式,採用遵循“一審、二校、三驗”流程,機器會抽檢、驗收一部分數據並給出預處理結果,最終的結果要靠精細化的人工校對。

嘉賓介紹

繆冠瓊,標貝科技聯合創始人,數據業務負責人,語音及數據領域專家,行業經驗超過17年以上,參與多本專業書籍編寫,在產品與數據的場景結合上有獨特的解決方案。