Categories
程式開發

視頻質量機器過濾技術淺析(三):基於文本分類與特徵的視頻標題質量分析

短視頻信息流產品是目前最炙手可熱的互聯網產品之一,每天會有海量的UGC與PGC視頻被生產出來。如何平衡人工成本,高效地審核視頻質量,挑出真正好的視頻?基於AI算法準確識別視頻質量並進行機器過濾,可以提高視頻生產效率和生產質量,並最終提升用戶體驗。本專題具體介紹阿里文娛基於視頻封面、標題、內容等多個維度的質量評價算法、系統與平台架構,以及業務落地與應用結果等。本文是專題的第三篇文章。

1 背景:從文本信息評估視頻標題質量

短視頻行業近年的快速發展,生產了大量的短視頻,其中短視頻質量是參差不齊的,如果放任其中的劣質視頻發布, 會給用戶造成不好的體驗。一條短視頻要被審核,需要從標題、封面、視頻內容三個維度去分析,最後給出一個綜合的評分。目前優酷短視頻內容池每日新增的短視頻有數十萬量級, 但是人審帶寬有限, 而且審核工作量和成本均是巨大的, 必須提供算法模型對視頻打分, 達到接近人審的效果。本文從文本信息角度來評估短視頻的標題質量。

2

Categories
程式開發

深度學習是如何幫助攜程機票客服提高對話效率的

一、背景介紹

作為一家“以客戶為中心”的服務型企業,攜程一直以來都在旅行服務上下了很大的功夫。從成為第一家設立大規模聯絡中心的公司,到開辦中國旅遊業首個客服節,服務已經成為了攜程最核心的競爭優勢。快速的服務響應能給旅客帶來更好的出遊體驗。

對於機票在線客服而言,如何在部分聊天內容中快速判斷客人問詢的意圖,進而提供解決方案或者引導客人自助操作,成為了一個十分重要的問題。

當客人進入機票客服聊天界面後,是有兩個對話階段的。

一個是機器對話階段。這個時候還沒有接通人工客服,是機器客服在引導客人自助解決問題。機器客服,也叫機器管家,會提供一些常見的問題,用戶點擊問題後獲得對應的解答。

但是常見問題不一定是客人想要的問題,這個時候就需要人工客服出場了,即進入第二個對話階段:人工對話階段。

在人工對話階段,會有客服人員解答客人的疑惑。但事實上,很多客人在機器對話階段就已經描述了自己遇到的問題,而接通人工客服後,客服可能還需要先翻看客人之前的描述,這個過程比較耗時,效率低而且對客人的體驗不好。因此我們需要在接通人工客服前先對客人描述的內容做一次總結,這樣客服就可以預知客人想了解什麼,並且提前尋找解決方案。

深度學習是如何幫助攜程機票客服提高對話效率的 4

在實際建模過程中,由於機票場景的複雜性,要想模型有非常好的效果,既需要對機票的業務知識有很深的理解,又需要對機票客服對客人的服務習慣有很好的認識。例如當碰到客人的問題是“我要退票”時,客服更關心客人為什麼退票,是航班延誤導致了退票,能否幫客人獲得補償?還是日期訂錯導致的退票,能否提醒客人直接改簽?…

Categories
程式開發

中小型金融企業該如何進行災備建設?

本文由 dbaplus 社群授權轉載。

如果你要我用一個字來形容初次接觸災備建設的感受,那就是:悶。不像在搞定高並發大流量優化後,帶給你的酣暢淋漓的感覺;做災備時的感受,猶如今天會場外天氣一般,讓人喘不過氣。但它不僅是運維最後一道防線,又是災難發生時的救命稻草,讓你不得不硬著頭皮去完成它。

我還清晰記得,領導給我災備建設任務時,第一個反應是:為什麼是我?但在做了四年的災備建設後,突然感到災備建設是一件很有趣的事。

上週參加其他大會,陸金所分享他們的一鍵機房切換,4分03秒就完成機房主備切換。他們怎麼做到的?除開技術原因,他們在災備建設這件事情上進行了大量資源的投入,不管是人的資源還是機器的資源。

一、中小型企業如何進行災備建設

那麼中小型企業在極其有限的資源下該如何進行災備建設,怎麼讓災備建設能在可用性和成本之間求得一個平衡,是我接下來演講的主要內容。

先做個背景介紹,好買財富是專門做基金銷售的,並不是做P2P,因為很多人聽到財富兩個字自然會往那個方向想。既然我們是跟基金相關,那我們受證監會的相關監管,兩地三中心就肯定逃不走,所以公司就會有這方面的訴求:把災備建好,並且保證災備是可用的。

在四年前,老闆讓我重建災備機房時,我最初的想法是:很簡單嘛,照著主機房原樣拷貝一份,應該很快就能把災備建設完成。然而,花了近一年的時間,才把第一個交易核心系統的災備建起來。…

Categories
程式開發

特斯拉自動駕駛團隊:五年,一個瘋子,五個離開的天才

特斯拉自動駕駛Autopilot最近一次上熱搜,是因為夜間高速行車中緊急避讓一隻狼、一群過馬路的鴨子、三頭熊……

在自動駕駛這條漫漫長路上,特斯拉Autopilot(以下簡稱“AP”)是絕對的先鋒,不論知名度、話題度、領先性還是突破性。從這個團隊短短五年高管層頻繁更迭的故事中,你或許能感受到,穿越一段技術、產品與時代的無人區(以及在馬斯克手下工作)究竟意味著什麼。

故事,要從一場事先聲張的三觀不合說起。

工程師的三觀

“自動駕駛用在飛機上是好事,我們應該也把它放到車裡。”

2013年5月,馬斯克第一次公開提到自動駕駛。

說這句話時,特斯拉對外批量發售的車型只有一款豪華Model S,但現實怎麼可能阻止鋼鐵俠的雄心壯志呢。

特斯拉自動駕駛團隊:五年,一個瘋子,五個離開的天才 27

2014年10月,搭載1.0版本硬件套件的AP橫空出世,幾萬名特斯拉車主一覺醒來,發現自己的愛車通過OTA更新,突然擁有了部分自動駕駛的功能,在高速路上可以自動保持在自己的車道上,還能根據前方車流加速減速,打一下轉向燈,就可以完成自動變道。

兩年後,AP的硬件套件升級到Hardware …

Categories
程式開發

阿里巴巴架構師:十問業務中台和我的答案

一切業務數據化,一切數據業務化。

“中台”概念這幾年非常火,特別是阿里、騰訊、百度、京東等互聯網公司最近頻繁的基於中台調整組織架構,把“中台”的熱度又上升到另一個高度,甚至有這樣的聲音, 90 年代不做ERP 會死,現在不做中台也會定企業生死。中台的概念起源於阿里,也發展於阿里。筆者有幸參與阿里業務中台方法體系建設,也主導參與一些阿里雲新零售業務中台項目,經常被問到如下問題。本文作為“阿里巴巴業務中台”專題的第一篇,和大家分享一些思考(本文內容僅代表作者個人觀點,歡迎交流)。

阿里巴巴架構師:十問業務中台和我的答案 43

什麼是業務中台?

中台起源於阿里,2015年,阿里提出了“大中台,小前台”戰略,靈感來源於芬蘭的一家遊戲公司Supercell,僅300名員工,卻在短時間推出多個爆款遊戲,成為全球最會賺錢的遊戲公司。其實,阿里早在2009 年建設“共享事業部”開始,就已經開始了中台的探索,並通過十年上百個客戶的實踐,阿里也將自己的技術和業務能力沉澱成為一整套解決方案和方法論體系。

阿里巴巴架構師:十問業務中台和我的答案 44

中台是什麼?不同的人有不同解讀。我認為,中台是一套結合互聯網技術和行業特性,將企業核心能力以共享服務形式沉澱,形成“大中台、小前台“的組織和業務機制,供企業快速低成本的進行業務創新的企業架構。中台又可以進一步細分,比如業務中台,數據中台,xx中台。本質上,都是對企業通用能力在不同層面的沉澱,並對外能力開放。

業務中台將企業的核心能力以數字化形式沉澱為各種服務中心。業務中台的目的是“提供企業能夠快速,低成本創新的能力”。業務中台的核心是“構建企業共享服務中心”。業務中台的過程是通過業務板塊之間的鏈接和協同,持續提升業務創新效率,確保關鍵業務鏈路的穩定高效和經濟性兼顧的思想體系,並突出組織和業務機制。業務中台也包含技術和組織兩大部分,通過“方法+工具+業務理解”加以實現。…

Categories
程式開發

國務院參事室研究員姚前:區塊鍊是目前最重要的研究熱點

12 月 7 日~8 日,由中國科學院學部主辦、中國信息通信研究院等單位聯合支持的“區塊鏈技術與應用”科學與技術前沿論壇在深圳舉辦。中國科學院信息技術科學部鄭志明院士、數學物理學部王小雲院士等四位院士發表主題演講,同時還有300 餘名來自政府和企業界的代表出席會議,圍繞區塊鏈與數字身份、監管科技、金融應用等話題展開討論。

國務院參事室研究員姚前:區塊鍊是目前最重要的研究熱點 56

國務院參事室研究員、金標委秘書長,中國證券登記結算公司黨委副書記、總經理、前中國人民銀行科技司副司長、巡視員,前中國人民銀行數字貨幣研究所所長姚前發表了《關於國際支付體系改革的一點思考》的主題演講。姚前表示,原來以銀行為中心的層層帳目之間轉接的國際匯款結算方式越來越引起人們不滿,近年來影響最大的解決方式就是加入加密貨幣以及其背后區塊鏈的發展。區塊鍊是目前最重要的研究熱點,務必要深入研究。同時,姚前表示,大眾金融基礎設施的建設最好是自營部門和公共部門團結起來,允許有能力有條件的商業機構去探索普惠大眾,而並不被某一方單獨掌控。

以下為演講全文:

非常高興參加中國科學院學部舉辦的科學與技術前沿論壇,20多年前我是中國科學院研究院的一名學生,今天能夠參加這樣一個論壇我感到非常容幸,剛才王小雲院士講了Hash,我一直覺得比特幣每一個區塊的Hash相當於區塊領域鏈裡交易過的比特幣的冠字碼,比特幣的冠字碼之間與數字之間的號碼具有非常強烈的數字關係。

近期,Facebook提出的加密數字貨幣Libra引起了廣泛關注。這主要有三個原因:一是Facebook足夠大,擁有全球30億人口的活躍用戶,並且其規模還在快速擴張;二是Libra與現有貨幣體系掛鉤,有望解決虛擬貨幣的價值不穩定問題;三是Libra提出了新型國際支付方案,為國際支付體系改革提供了全新的景象。今天我想針對國際支付體系的現狀談談自己的建議。…

Categories
程式開發

中科院院士王小雲:中國急需搶先制訂區塊鏈、國產操作系統等密碼協議標準與技術規範

12月7日~8日,由中國科學院學部主辦、中國信息通信研究院等單位聯合支持的“區塊鏈技術與應用”科學與技術前沿論壇在深圳舉辦。中國科學院信息技術科學部鄭志明院士、數學物理學部王小雲院士等四位院士發表主題演講,同時還有300餘名來自政府和企業界的代表出席會議,圍繞區塊鏈與數字身份、監管科技、金融應用等話題展開討論。

中科院院士王小雲:中國急需搶先制訂區塊鏈、國產操作系統等密碼協議標準與技術規範 57

中國科學院院士、國際密碼協會會士王小雲在題為“Hash函數與區塊鏈技術”的開幕報告中為大家介紹了區塊鏈的起源——密碼學,內容涵蓋了密碼學的重要性、密碼學中的哈希函數、以及區塊鏈技術運用到的密碼學原理和區塊鏈的應用領域。王院士對我國的密碼學充滿信心,“在密碼協議方面,我們國家和其他國家都是處在同一個起跑線上”,同時她也指出了我國密碼學未來的發展方向,“哪個國家先制定標準,就掌握了先機。我國亟需搶先制定物聯網、車聯網、區塊鏈、國產操作系統等密碼協議標準與技術規範。”

以下為演講全文(InfoQ在不改變原意的基礎上略有刪減,經主辦方審核):

我今天的報告是從密碼技術的角度來介紹一下區塊鏈技術,從底層技術層面介紹一下區塊鏈的密碼含義在哪裡。

密碼學的重要性

首先介紹一下密碼學的重要性,對區塊鏈技術發表一點個人感想,區塊鏈技術出來以後,從我們個人的觀望到投資者的熱情,到今天我們考慮它的技術創新,推動我們產業發展,這個過程有幾年的時間。大家都知道,最近密碼法已經出台了,密碼是保障網絡與信息安全的核心技術和基礎支撐,所有的關鍵問題都是數學問題,這是毫無疑問的。密碼領域比較特別,我對密碼領域的理解就是基礎數學、應用數學和技術應用是三個合為一體的、無法分開的。

我們每一個技術的突破都用了大量的基礎數據的研究方法和工具,突破以後,基本上行業遍地都用。大家看一下我們的計算機通信系統,我們互聯網系統的主體系統的安全性都是用密碼系統保證的,所以密碼技術是通信系統和基礎設施融合在一起的,二者是分不開的。

在80年代初期,美國微軟和IBM的密碼團隊是非常傑出的融合發展模式,我非常高興,今天我們也到了融合發展的階段。

今天我們所有的網絡,包含計算機、手機、衛星、物聯網,特別是物聯網,應該是一個國家能夠發展好新一代信息技術非常重要的環節,也是讓密碼技術提到更高水平的環節。另外還有大數據、雲計算等,現在我們的數據都上云了,但安全是怎樣的,我想大家都比較清楚。

密碼技術為什麼這麼重要?因為整個互聯網和各種網絡,信息從產生到處理到傳輸,需要四個安全屬性:機密性,就是加密算;可認證性和不可抵賴性,這是數字簽名算法;完整性,就是防數據篡改的Hash函數。…

Categories
程式開發

迅雷CEO陳磊:區塊鏈的應用前景在物聯網

12月7日~8日,由中國科學院學部主辦、中國信息通信研究院等單位聯合支持的“區塊鏈技術與應用”科學與技術前沿論壇在深圳舉辦。中國科學院信息技術科學部鄭志明院士、數學物理學部王小雲院士等四位院士發表主題演講,同時還有300餘名來自政府和企業界的代表出席會議,圍繞區塊鏈與數字身份、監管科技、金融應用等話題展開討論。

迅雷CEO陳磊:區塊鏈的應用前景在物聯網 58

迅雷集團首席執行官陳磊發表了《從互聯網到區塊鏈:從野蠻生長到高效、有序、可信》的主題演講。陳磊表示,並不是所有的技術創新帶來的都是好的結果,某些社會問題實際上也是技術問題。區塊鏈可以使信用傳遞、讓數據可管理和有序共享。同時,陳磊表示區塊鏈的應用前景是在物聯網。

以下為演講全文:(InfoQ在不改變原意的基礎上略有刪減,經主辦方審核)

我們作為企業特別是做互聯網企業,對整個區塊鏈應用進行了展望,同時對過去互聯網的發展做一些回顧。互聯網發展毋庸置疑,為社會帶來非常多的便利和價值,提升了工作和生活的效率,滿足了文化生活的需求,消除了信息減化了空間環節,使得信息更高效、更廣泛。

但是同樣互聯網帶來很多的問題,比如網絡犯罪比在大街上犯罪更難偵破,網絡謠言可能會給一個國家、一個城市可能帶來傷害。網絡垃圾、網絡侵權等等這些問題是互聯網非常普遍的問題,也是一個國際化的問題。美國、英國等等都會受到這些影響,Facebook等這樣的公司遭到了質疑:到底給用戶帶來好處還是傷害?現在都是大家爭論的問題。

除了這些大家能看到的問題外,我覺得還有更深層的經濟學或者社會學層面的問題。我是一個互聯網從業者,在這個行業裡面耕耘十幾年,我曾經是互聯網的倡議者,但是今天我們可以冷靜的反思一下。有很多互聯網企業總結出來的現成經驗還是非常值得普及和推廣的。

我們看到互聯網的野蠻生長,我指的是不健康的生長 ,為什麼很多企業虧這麼多錢還值這麼多錢?很多互聯網企業很核心,工作方式是去迎合用戶需求,這個需求既是用戶對文化生活、對內容的需求,也是對經濟上佔點小便宜等這樣的需求。所以可以通過投其所好的方法、虧本做生意的方法來獲取用戶的時長、流量和數據,把這個數據利用到金融領域、直播文化生活領域當中,可以賺很多的錢。其實,互聯網野蠻生長的時代應該已經過去了。我們希望看到的是這樣一個業態:他自己能賺錢、能盈利,企業有自己的盈利邏輯。

總書記曾經說過,“技術可能是把雙刃劍”。前兩天我跟一個知名的投資人閒聊,他提到說如果再這樣下去的話,他們這些投資人可能就退出這個行業了。社會投資,特別是對科技企業的投資是推動社會經濟發展的一個核心動力。我相信確實如此,但並不是所有的技術創新帶來的都是好的結果,比如說互聯網創新,在一定程度上帶來非常多的生產力的釋放和效率的提升,但是不是給人們生活普遍帶來變化的都是好東西?

技術創新其實有很多種,其中一種是降低社會資產投入的。降低社會資產投入的技術創新實際給我們的經濟發展特別是GDP,帶來的未必是一個正向和積極的作用。宅男、宅女在十幾年前不是特別普遍的現象,今天我想在座的包括我自己在內的都是宅男和宅女。前幾天,我看到有一個新聞說八月份上海遇到颱風,我們的快遞哥仍然送外賣。這些快遞哥給我們帶來了“宅”的生活方式。在全社會的角度,一個快遞哥一天送貨量大概100多單,一個實體店能不能出這麼多的貨?一個快遞哥一個月掙5000塊錢,可能替代了4、5家實體店,而人不到街上去行走,不到街上去逛。…

Categories
程式開發

全球首款人工神經元矽芯片發布,可拯救阿爾茲海默症患者

阿爾茨海默病是西方社會老年癡呆症發生的最主要病因。全球約有3500萬患者掙扎在記憶缺失、意識模糊、易怒、正常機體功能逐步喪失的痛苦中。而近期由巴斯大學研究團隊主導研發的一款人工神經元矽芯片或許將成為拯救這類患者的福音。

近日,一群來自巴斯大學、布里斯托爾大學、蘇黎世大學和奧克蘭大學的研究人員在《自然通訊》上發表了一項研究,這項研究中對中人工神經元進行了描述。值得一提的是,這個由多個大學的研究人員共同組織的研究小組首次成功地將生物神經元的電特性複製到半導體芯片上。

早在2015年,一群來自浙江大學與杭州電子科技大學的年輕研究者們研發出了一款稱為“達爾文”的類腦芯片。這款芯片是國內首款基於矽材料的脈衝神經網絡類腦芯片。該芯片主要面向智慧物聯網應用,能夠完成手勢識別、圖像識別語音識別

Categories
程式開發

視頻質量機器過濾技術淺析(二):基於弱監督的多模態圖像質量模型

短視頻信息流產品是目前最炙手可熱的互聯網產品之一,每天會有海量的UGC與PGC視頻被生產出來。如何平衡人工成本,高效地審核視頻質量,挑出真正好的視頻?基於AI算法準確識別視頻質量並進行機器過濾,可以提高視頻生產效率和生產質量,並最終提升用戶體驗。本專題具體介紹阿里文娛基於視頻封面、標題、內容等多個維度的質量評價算法、系統與平台架構,以及業務落地與應用結果等。本文是專題的第二篇文章。

1 背景:為何需要圖像質量算法?

無參考的圖像質量評價(image quality assessment ,IQA)是一個古老而又用途廣泛的研究領域,在視頻壓縮、圖像增強、視頻封面、圖像推薦等領域都或多或少有其身影出現。

為提供更好的用戶體驗,優酷每天海量視頻封面的生產需要大量人工進行審核,提高人審效率,降低人工成本,是一件非常重要的工作。我們設計開發了一套基於優酷視頻數據的圖像質量算法框架,提供圖像質量服務,為業務賦能提效。

目前,圖像質量算法可支持日均千萬級圖片處理需求,供給運營設計大量封面素材;並提供優酷視頻機器過濾封面評級服務,在短視頻封面人工審核業務中,較大程度實現了業務上提效。

2