Categories
程式開發

內容量大增,帶來的安全挑戰應如何應對?


一、正確的直播姿勢

文明直播受到一些平台規範、行業規範和國家法律法規的約束。

首先是每個直播平台都有響應的規範規範,比如禁止低俗、性暗示的行為。禁止男性赤裸上身,同時展示和露出紋身也不允許,所以今天大家只能看到把雙手裸露出來,看不到我胸前的HelloKitty哈。

除了平臺本身的規範,行業為了規範發展,也有一些規範約束主播的行為。包括主播不能過於暴露,不能穿情趣內衣,同時國家法律法規也有相當多的規定做這方面的約束。所以今天的我們是一個文明的直播,拒絕翻車。

內容量大增,帶來的安全挑戰應如何應對? 1

二、近期業務增長帶來的風險

隨著疫情的爆發,很多業務得到了始料不及的爆發。比如下圖所示的業務,在1月27、28日的時候,每天大概是10萬張圖片的量級,但是到2月26日數據就已經突破了2.5億張,整體的增長速度非常快。業務量大幅度增長之後,給我們帶來非常多的工作,在搬磚過程中我們發現了大量平台當中違規的內容。

內容量大增,帶來的安全挑戰應如何應對? 2

如下圖所示的兩個案例,這兩張圖片分別是性感圖片和色情圖片。左邊被判定為性感圖片,而右邊的圖片則會被判定為色情圖片,這是為什麼呢?我們會在下文詳細解釋。

內容量大增,帶來的安全挑戰應如何應對? 3

三、多標籤學習在圖片安全中的應用

直播間可能會有很多內容涉及低俗問題,尤其是視覺方面。針對圖片和視頻的識別,隨著互聯網發展,技術也在不斷演進,下面將介紹下在圖片安全當中的技術演進。

1. 相同圖片識別

互聯網剛發展的時期,圖片識別技術主要就是做相同圖片的識別。什麼意思呢?就是如果有一張圖片已經被人工識別為是違規,比如色情的圖片,會把該計算該圖片的MD5然後保存起來,後面進來的照片會對比MD5,看圖片是不是一致。此類方式是通過比對二進制的內容看看是不是違規,但是卻忽略了圖片的表徵特性,圖片變大變小問題沒有辦法解決。

內容量大增,帶來的安全挑戰應如何應對? 4

2. 相似圖片識別

為了解決MD5庫的短板,開發了基於傳統的圖像特徵相似度想法,同樣建立不良圖片的庫,能夠識別經過旋轉、拉伸和裁剪的變種的相似圖片,通過這種方式能進一步識別變種的問題。圖像相似度比對的方法考慮到了圖像的底層特徵,對同一幅圖的幾何變換(一般是仿射變換)具有一定的檢出魯棒性,但是它有兩個主要的問題:

第一,針對惡意圖片的打擊,與相同圖片識別一樣,也總是具有滯後性。

第二,隨著種子庫規模增長,越來越多的圖片加進去以後,檢索效率也會成為很大的瓶頸。

內容量大增,帶來的安全挑戰應如何應對? 5

3. 同類圖片識別

隨著AI技術的發展,利用深度學習的泛化領域,我們提出一種新的方式,同類圖片的識別。

什麼是同類圖片識別呢?就是把圖片安全當作大類的問題,把裡面很多不同識別類型當作一個類,每一個識別類型用模型解決。把一個複雜領域分解成N個子領域,對於每個子領域單獨列一個模型解決。

內容量大增,帶來的安全挑戰應如何應對? 6

這個方式在剛開始的時候能夠很有效解決互聯網中傳播的內容識別,尤其是經歷了移動互聯網之後,網民普遍擁有便攜式的手機,能夠隨時隨地拍攝照片,修改照片後進行傳播,從而帶來非常大的壓力。隨著AI技術應用,針對同類圖片識別也得到了解決。

但是同類圖片識別也會有問題存在,早期只依靠某幾種模型就能夠把大多數問題解決。但是隨著安全對抗的深入,很多圖片當中有一些敏感的內容或者元素,是屬於很小的一個部位,或者在很小的一個區域,導致識別的難度非常大。如果針對每一個問題訓練一個模型,就會帶來非常大的算法、人員投入,同時針對這種小的問題,也需要蒐集非常多的樣本解決。

4. 圖片語義識別

我們現在正在探討一個新的方式來解決,那就是圖片語義的識別。為什麼需要圖片語義的識別?就是為了解決靈活多變的需求,嘗試以靈活多變的方式尋找不變的東西。基於圖像識別客觀存在的信息,通過語義信息構建這張圖片表達的內容,通過N個模型解決N+類的問題。

內容量大增,帶來的安全挑戰應如何應對? 7

如上圖所示的兩張圖片,有同樣的特徵,都含有刀,右上角的刀是在廚房裡的菜刀,背景包括一些水果:胡蘿蔔、包菜,還有一個砧板。如果通過正常人判斷可以識別出來這是一個正常的畫面。但是如果我們僅僅根據裡面有把刀就判定為違規圖片,這顯然是有問題的。下面圖片中同樣也有一把刀,這個刀不是長度有問題,而是出現的環境不一樣。同樣一把刀出現在不同環境下,我們需要通過語義識別,來弄清這張圖片到底表達什麼意思。

(1)多標籤學習

針對圖片語義識別有很多相關聯的技術,比如多標籤學習。為什麼需要多標籤學習呢?因為通過得到一張圖片上的不同標籤,才能進一步了解圖片想要表達的信息,通過足夠多的圖片構建圖片語義信息理解圖片最終表達的信息。目前我們已累積涉黃圖片500多萬張,每張圖片有5個主標籤,10個細粒度標籤,可以預測不同圖片屬於哪一種違規類型。

如下圖所示的兩張照片,第一張圖人物身著比較裸露,但是背景是沙灘,如果是個人判斷,我們完全可以認為是性感圖片,我們希望機器也獲得認知這個圖片的過程。另外一張圖片也是裸露的,在室內穿著內衣,而且伴有健身器材,我們也認為是正常圖片,希望我們的模型、機器、算法像人一樣識別出這是一張正常的圖片。

內容量大增,帶來的安全挑戰應如何應對? 8

(2)細粒度識別

除了多標籤學習外,涉及到另外一個技術——細粒度的識別。因為圖片當中可能存在的一些微小區域,容易被我們忽略掉,但是使用這個技術之後,我們可以通過熱力圖標識出哪一個區域是比較熱門的,那裡就是需要我們算法和模型重點關注的區域。優勢就是可以結合全區的特徵和局部的敏感特徵,這樣就能避免有的模型算法會忽略掉局部的特徵。

內容量大增,帶來的安全挑戰應如何應對? 9

所以當我們面臨的圖片越來越複雜的時候,不僅需要我們有足夠多的標籤語義支撐,同時也要通過細粒度對足夠細微的敏感特徵做識別,所以我們這邊創造性地把這兩種技術結合起來用。

每一種圖片處理方式都涉及特定領域和特定細分類的問題,每一種技術也都有優缺點。我們認為隨著技術不斷的迭代,老的技術也有一定的價值,可以在系統當中發揮相應作用。

四、色情音頻與謾罵音頻識別

下面主要介紹我們在色情音頻和謾罵音頻上的識別。

最近這段時間網上課程增長非常多,很多違規內容也隨之產生。在一些案例中,雖然視頻內容是正常的,但是裡面發出的聲音其實存在低俗信息。

下圖所示的是我們在外網捕捉到的一個色情音頻,從這裡可以得到非常多的信息。如何判斷一段音頻表達內容到底是正常的呼吸和說話聲,還是低俗的聲音呢?下文會詳細介紹對低俗語音聲音涉黃的識別。

內容量大增,帶來的安全挑戰應如何應對? 10

雖然聲音涉黃是很複雜的問題,但是實際上可以通過很簡單的技術來鑑別。就像把大象裝到冰箱裡一樣,只需要分三步驟就可以解決。第一步打開冰箱,然後把大象裝進去,最後把冰箱門關上。

1. 色情音頻識別流程

  • 音頻分割模塊採用自研的音頻檢測技術(VAD)對每幀語音給出語音/非語音標籤,經過後處理後在較長靜音處將音頻切割為多個片段,作為後續的識別單元。
  • 系統採用當前說話人識別領域主流的x-vector embedding模型做為主系統,對每個音頻片段進行特徵提取,通過TDNN網絡和Statistics Pooling層,得到表徵音頻內容信息的embedding。
  • 在類別分類和結果整合階段,表徵每個音頻片段的embedding通過後端分類器得到在不同類別上的得分,最後系統根據得分和片段時長,根據業務需要,匯總得到整條音頻內容的識別識別結果和置信度。

內容量大增,帶來的安全挑戰應如何應對? 11

過程是很簡單的三步,但是裡面涉及到的技術難點還是非常多的。其中非常重要一個點就是訓練樣本的採集。

2. 樣本採集與標註

音頻這一塊的處理相對圖片來說隱蔽性更高,對於我們人工的標註、採集這一塊工作量要求非常大。我們做了非常多的工作,確保能夠獲取足夠多音頻的樣本,以及把這個樣品做得足夠細緻的分類,提升最後的效果。

內容量大增,帶來的安全挑戰應如何應對? 12

有了這個樣本之後,經過對模型不斷調整和訓練才能持續提升識別效果。除了涉黃的音頻,還有謾罵音頻也需要識別。這就是我們的高性能可自定義多語種語音關鍵詞系統,這個關鍵詞系統也是分三步驟:第一是做特徵提取,第二是聲學建模,第三做解碼器。

內容量大增,帶來的安全挑戰應如何應對? 13

以上部分就是我們在色情音頻與謾罵音頻當中識別的一些介紹了。當然我們也會運用到一些其他的手段,比如把一段音頻的內容全部轉化成文本,再通過文本來識別,等等。

五、垃圾文本治理的思路和實踐

另外其實在直播當中,很多評論區的彈幕和文本也需要做過濾,彈幕也有很多垃圾內容,這一塊我們怎麼做對抗呢?

首先我們來看一下對垃圾文本的治理,首先這裡會存在一些特殊服務誘導信息的干擾,最常見的就是“加群”變成“+群”,群用拼音,數字用圓圈數字,內容有很多變體字的干擾,比如使用微信上的各種變體字,雖然第一眼看不出來,但是細細揣摩就知道裡面意思。

其次就是很多同義詞的干擾,除了微信的變體字,還有同音字,拆字的干擾。這些信息還有非常明顯的聚集性,大批量的用戶不斷地再發送同樣的垃圾內容。

內容量大增,帶來的安全挑戰應如何應對? 14

這種垃圾文本的特點就是它的對抗性強,惡意模式更新快,同時具有聚集性。我們怎麼對這種垃圾文本做持續有效的對抗呢?我們的做法分兩部分:

第一,我們對垃圾文本的治理分為線上部分和離線部分,線上主要是做增量的訓練模型,進行線上實時打擊。

對於線上打擊,我們通過人工和預設置的方式進行樣本收集,人工對樣本進行標註,最後做預處理,做一些文本更正,拿到文本之後做數據增強。

為什麼要做數據增強呢?因為垃圾文本其實具有非常多的變種,我們可以在做數據訓練之前主動在訓練樣本當中加入一些變體,同音字,以及偏旁增加數據,這樣通過模型訓練能夠有效做對抗。

對於模型訓練,業界比較通用的,像texcnn、fastcnn都是針對不同場景解決這些問題的。有了模型之後就可以做線上打擊,我們不僅僅會輸出這一條文本的類型,到底是色情的,還是一個廣告,還是屬於謾罵信息。同時還會標識發送的ID是什麼,為什麼需要發送ID,就是因為需要主動蒐集漏過的數據來補充的線上模型。

我們可以這樣假定,一個人他發了一次惡意內容,或者垃圾文本之後,他有很大概率不僅僅是只發了一次,如果我們把這個垃圾文本對應帳號的所有內容全部撈出來,就有可能找出我們漏過的東西做提升。

另外,我們有一套舉報巡查的系統,可以提供一個入口給用戶做主動舉報。我們也會用人工巡查的方式做一些篩查,看是不是能夠找出惡意的內容和帳號。在我們得到這批惡意帳號之後,把帳號所有的文本提取出來,做一些文本的聚類,進一步針對這些聚類的特徵做一些提取。

比如說消息的長度,信息熵之類的,最後做一個分類,進行聚類異常分類,把文本最終給人工審核,標誌Logo的樣本,最後這些樣本進入我們庫。這就是我們線上做閉環的操作,好處就是線上和線下都是通過AI模型算法方式做主動打擊,主動搜索漏過,降低人工投入,持續和黑產和惡意的用戶做對抗。

內容量大增,帶來的安全挑戰應如何應對? 15

雖然我們有了一整套線上加線下,以主動蒐集、主動對抗的方式解決垃圾文本的系統,但是所有垃圾文本過濾還是少不了關鍵詞系統,如何有效把關鍵詞的價值發揮到最大,其實是有講究的。

最簡單是可以上一些分詞的策略來降低誤殺。另外很多關鍵詞其實有一些組合的策略,關鍵詞本身可能會有一些中性、負面的屬性,對關鍵詞進行分級分類可以降低誤殺。

內容量大增,帶來的安全挑戰應如何應對? 16

對於違規視頻內容的處理,主要會從兩個方面進行處理:

第一是做細粒度的截幀,識別圖片是不是有涉黃廣告違規內容,檢測裡面的台標和人物,判斷這張圖片是正常還是惡意的。

另外,我們會提取這段音頻的內容,做色情音頻或者謾罵音頻的識別,或者是把音頻全部轉換成文本之後再做文本識別,基本上目前行業處理方式還是複用圖片、音頻、文本的方式做打擊和對抗。

五、雲上內容安全方案

雖然現在有很多的開源技術能夠使用,我們也能夠在互聯網搜索很多樣本,訓練我們的模型,取得一定的效果。

但是內容安全在互聯網發展開始之後,其實一直都是存在的,這是一個持續對抗的過程,我們想通過一朝一夕把這個問題完全解決掉是不可能的,必須構建一個複雜並且持續可運營的系統,才能夠長期有效解決我們線上所面臨到的各種文本、音頻、圖片、視頻當中的問題。

我們的這一套系統,其實就是騰訊本身在內容安全領域長期積累下的經驗,以及不斷對一些AI新的技術做探索所沉澱出來的一整套內容風控的方案。

這個方案除了上文介紹的機器審核、模型識別、關鍵詞識別、策略識別之外,還有輔助的一套人工識別機制,因為機器沒有辦法達到百分之百的準確,機器可能對某張圖片有95% 、甚至99%識別準確率,但是仍然會造成1%的誤殺,怎麼解決這個誤殺問題呢?可以通過少量的人工做輔助判斷,減少對用戶的干擾。這就是天禦內容風控系統,我們同樣支持做人工的輔助審核。

內容量大增,帶來的安全挑戰應如何應對? 17

除此以外,我們還跟騰訊雲產品和小程序做了綁定,不管使用哪一種騰訊云通信類產品,都可以無縫對接到我們的產品。只需要一鍵開啟,在平台當中產生內容都可以通過風控系統做機器識別和人工的二次確認,最終告訴你哪一些內容是不良的,只要根據這些不良的內容,再製定相應的策略直接進行打擊,開發者或者客戶只需要專注於自己本身內容的良性運營就可以了。

除了與騰訊產品做了深度綁定以外,還跟微信小程序做了比較深度的結合。我們內容安全服務已經上線微信小程序服務市場,大家可以通過服務市場使用我們的服務。

最後給大家一個小小的建議,對於如何規範直播內容,我認為需要做好以下這三點防止意外翻車:

第一,清理桌面,比如在直播過程當中,尤其是講課或者其他場景漏出自己的桌面,讓大家看到裡面非常雜亂,或者桌面背景有一些性感甚至其他類型的圖片是不太好的。

第二,如果離開了直播間,需要及時關掉麥克風,避免有一些其他聲音被採集到。

第三,也是非常重要一點,記得及時關掉攝像頭,這樣就能避免一些內容的意外流出,我們會發現有很多的違規內容並不是主播主動或者用戶主動發出去的,而是不經意之間流露出來,所以做好這三點可以有效解決大多數問題。

內容量大增,帶來的安全挑戰應如何應對? 18

六、Q&A

Q:聲音鑑黃使用哪一些技術?

A:涉及自研的VAD音頻檢測技術、x-vector embedding模型、TDNN網絡、SVM分類器等。

Q:運行這些算法運用了多大的算力?

A:目前通用的GPU服務器,可以滿足需求,當然隨著你業務規模的增長,其實也會用到大量的服務器,當然這裡對我們來說都不是問題,因為騰訊云有非常龐大的池子足以支持我們的各種算力使用。

Q:現在有沒有人工審核平台?

A:我們現在除了提供機器審核之外,還會提供人工審核服務。為什麼需要提供人工審核服務呢?第一,目前機器識別準確率沒有辦法做到100%,還是有小部分識別出來的內容依賴於人工做審核。我們需要把人工審核納入整體服務當中。第二,我們通過機器審核跟人工審核的方式其實可以做到更加好的閉環,人工審核的結果快速進入到機器當中做二次訓練,這樣能夠自助提升識別的效果。同時,我們認為對於開發者、企業主來說,他們核心關注的問題應該是聚焦在業務本身的運營,所以可以把這塊內容安全交給騰訊雲來解決。

Q:開發好的小程序有上傳視頻內容,如何更好做好過濾?

A:其實我們已經把這一套系統通過小程序上面的服務市場給到廣大小程序開發者使用,其次如果在微信小程序當中有短視頻需求,騰訊雲也有相應的點播產品,包括存儲、加速以及轉碼、審核整套的流程,可以從內容創作到分發的全流程上幫助到大家,也是一個便捷的平台。

Q:語音涉及到檢測嗎?

A:涉及到低俗語言識別、通過關鍵詞喚醒來識別謾罵,或者全量ASR來做音頻的內容識別。

本文轉載自公眾號雲加社區(ID:QcloudCommunity)。

原文鏈接

https://mp.weixin.qq.com/s/6Pzq3ugrFbmlAI03mG8Zfw