Categories
程式開發

WebRTC 實時視頻處理——基礎美顏與視頻超分實踐


隨著 HTML5 標准在主流瀏覽器內核的實現,Web 平台擁有了空前強大的多媒體處理能力。以 WebRTC 為代表的音視頻實時通訊技術獲得廣泛應用,隨著各種新的應用場景的出現,Web 平台實時視頻處理的需求也越來越迫切。

本次分享將基於 W3C 和 Khronos 的現有 Web 標準,介紹 Web 平台實時視頻美顏的實現方法,以及基於深度學習的視頻超分實現方法。介紹通過對 Tensorflow.js 輸入輸出接口的定制實現超分處理流程的 GPU 加速,將基於 Tensorflow.js 的視頻超分性能提升3倍左右。最後對 Web 平台深度學習的發展進行探索和展望。

演講提綱:

  1. 應用背景與 HTML5 簡介

  2. Web 平台並行計算標準

    (1) WebGL/WebGL Compute
    (2) WebGPU
    (3) WebCL

  3. 基於 WebGL 的基礎美顏實現

    (1) 美顏實現涉及的相關 Web 模塊
    (2) 主要步驟
    (3) 處理性能

  4. Web 視頻超分探索

    (1) Web 平台主要深度學習工具箱
    (2) 基於 Tensorflow.js 的超分實現
    (3) Tensorflow.js 接口定制
    (4) 基於改進的 Tensorflow.js 的超分實現
    (5) 性能分析

  5. Web 平台深度學習展望

    (1) 深度學習 W3C 標準展望
    (2) 基於 NPU 和定制 WebRuntime 的深度學習實踐

聽眾收益:

  • 了解如何基於 HTML5 現有標準實現高效實時視頻處理
  • 了解 Web 平台深度神經網絡的應用及優化
  • 了解瀏覽器內核原理