Categories
程式開發

浙江移動數據中台的建設和應用實踐


最近在TD大數據論壇上我做了一次分享,題目是《浙江移動數據中台的建設和應用實踐》,關於中台的文章現在網上很多了,文末我列了主流的數據中台的文章(包括我的),數據中台沒有標準架構這種觀點我也是認同的,因此,這裡會結合片子重點談談我的實際感受,大多是超越數據中臺本身的。

浙江移動數據中台的建設和應用實踐 1

1、為什麼做數據的挑戰特別巨大?

回顧自己做數據的15年,大多的結果並不樂觀,有句話說得蠻有道理:你要判斷一個東西有沒有可能繼續被使用,就要看它已經被使用了多長時間。比如我可以預測凳子在一千年內繼續會為人所用,因為凳子已經存在了1000年以上了。

這個規律套用到自己,就有點殘酷,回顧10年前自己做的模型、平台或產品,似乎都沒有什麼東西能留存下來,因此,現在去做數據中台,也是戰戰兢兢,高大上的東西,在現實面前特別容易倒掉,更別提數據工作本身的一些限制。

比如IT部門是業務部門的後端,而數據部門是IT部門的後端,決定了數據工作者往往是後端的後端,因此要直接去創造價值是很難的,當然僅僅滿足於報表取數另當別說,但相信有興趣看我文章的人,都有著自己更高的追求。

很多數據界的老人對數據中台不屑一顧,認為純粹是炒作,我很能理解,但如果以這個理由固步自封,那也有點不合時宜,本質不變不代表手段不需要改變,無論是在業務、技術還是數據層面。

2、數據中台從來不是一個新東西

數據中台的本質是什麼,大家現在提的最多的詞是業務化,服務化,後來我加了個開放化,內涵下面這頁PPT講的很清楚,業務化是在提醒你不要為了治理而治理,服務化在強調標準化和共享,開放化在講酒香也怕巷子深。

浙江移動數據中台的建設和應用實踐 2

你說這些是新概念嗎,是阿里巴巴創造了數據中台嗎?

顯然不是,阿里巴巴在數據中台上的很大貢獻就是創造了一個“數據中台”的名詞,降低了企業的溝通成本,讓企業的領導意識到數據能發揮出更多的價值。

應該來講,數據中台涉及的東西,都是做數據做到一定程度後自然產生的結果,只要你希望讓數據產生更多、更直接的價值,你就要演化出相應的功能,形成自己的數據中台。

其實早在阿里巴巴以前,無論是網易、OPPO等等,大多數互聯網公司其實早就有了自己的數據中台。

比如筆者進公司以來,凡是想提升業務支撐效率的工作全是數據中台的內容,無論是模型週期從月改為日,用可視化工具替代PL/DEV,用標籤庫實現客戶群復用,用自助取數替代人工取數,都是如此。

我們在數據變現的第一天,老闆就跟我們講:一定要標準化,API化,否則數據變現是做不大的。

3、運營商建設數據中台的時代背景

通信行業天生就是一個數字化程度比較好的行業,隨著傳統管道業務的紅利到頂,技術變革不斷驅動的產業升級,AICDE對運營商的價值創造方式、核心理念等提出了新的挑戰,要求其加快數字化創新,拓展產業新的空間,如下頁所示。

浙江移動數據中台的建設和應用實踐 3

互聯網企業對運營商業務的擠壓是非常厲害的,但互聯網的發展有一樣對運營商是絕對有利的,那就是管道的線上內容會越來越豐富,線下的軌跡數據也在隨著人民生活的提高變得更有價值,運營商這種天然的線上線下數據的全面性、多維性、連續性、完整性等特點,使得其在新的時期有了一些新的優勢。

浙江移動數據中台的建設和應用實踐 4

浙江移動數據中台的建設和應用實踐 5

4、數據中台需要企業戰略的支持

為實現數字化轉型,浙江移動5年前就提出啟動智慧運營轉型的要求,即:以大數據為驅動、大IT平台為支撐、流程優化和管理完善為保障、改進客戶體驗和價值創造為目標,推進生產運營轉型提升。智慧運營鼓勵企業中的每一個業務單元都投入進來,倡導首創精神,實行差別化試點,“一點創新、推廣全省”,智慧運營逐漸成為公司的核心競爭力之一。

沒有公司的戰略,就不可能有足夠的業務驅動力去創造數據中台的生存空間,以前做數據創新面臨的很大問題是沒有需求,靠IT人員的自嗨剛開始的時候也許是一種創新,但馬上缺乏了後續繼續發展的動力。

浙江移動數據中台的建設和應用實踐 6

公司的戰略決定了會給你時間去持續的去做一些公司認可的長期的事情,不是那麼急功近利,這對於做數據的太不容易了,智慧運營貴在堅持,不斷迭代。我們的智慧運營項目連續做了6年,你可以看下每一年的項目名稱,都是在原來基礎上的反思和調整。

浙江移動數據中台的建設和應用實踐 7

5、智慧運營堅持的“搭台唱戲”的理念

當初並沒有數據中台這個名詞,但我們早就有了“搭台唱戲”的理念,數據中台就是其中的舞台,大家的目標是一致的,如下頁所示。

浙江移動數據中台的建設和應用實踐 8

我們必須要打造與之適配的數據賦能框架,這就是後來的數據中台,我們的數據中台從來不是COPY別人的產物,而是採用“搭台唱戲”模式支撐企業智慧運營戰略的需要。

浙江移動數據中台的建設和應用實踐 9

6、數據中台的一種架構形式

我們定義的數據中台,主要是實現跨域數據整合併沉澱公共的數據能力,同時提供豐富的數據模型、標準化的數據服務、個性化的開發平台與工具,滿足一線數據開放和智慧運營的需要,我們把數據管理的相關工具納入了能效中台,因此在這裡並沒有體現。

浙江移動數據中台的建設和應用實踐 10

7、數據中台總是處於演進的過程中

數據中台是企業發展到一定階段的產物,而當企業需要在合適的時機推送合適的服務的時,實時數據中台就成了必需品,它不是技術驅動的產物,而是業務的需要,以下示例了我們數據中台的演進歷程。

浙江移動數據中台的建設和應用實踐 11

8、數據中台的核心始終是模型

數據中台再好的架子也需要好的內涵,這就是模型的能力,不要成了繡花枕頭稻草芯,這裡提兩類重要模型:實時模型和挖掘模型。

一是實時模型,為高效支撐實時數據應用,實時數據中台在接入海量實時數據基礎上,需要根據不同應用場景,將實時數據清洗、聚合,提煉成動態、事件、時序3類實時模型,分別存儲在Redis 、Kafka 、Hbase等技術組件中供下游應用。

浙江移動數據中台的建設和應用實踐 12

二是挖掘模型,社交網絡、時間序列、時空軌跡、自然語言處理是運營商未來基於數據進行價值創造的核心算法,只有這些算法才能最大限度的挖掘出運營商數據中的價值,筆者前期在文章《什麼才是運營商數據中台最大的競爭力?》中提到過位置和上網是運營商最核心的數據,這些數據的價值挖掘極度依賴以上的核心算法。

互聯網公司曾經走過的路,付出的代價,運營商是繞不過的,否則,就無法發揮出原生數據的更多價值。現在中國移動提出要從“要素”競爭向“要素+能力”競爭轉型,在這里數據是要素,算法就是能力。

浙江移動數據中台的建設和應用實踐 13

舉個例子,基於社交網絡識別出家庭、政企的各種關係對於運營商做好家庭、政企業務非常重要,以下示例了某位同事的家庭關係,涉及17個人,7個物理家庭,通過這些關係的識別你才能更精準的提供服務。

浙江移動數據中台的建設和應用實踐 14

9、數據中台的開放至關重要

授人以魚不如授人以漁,數據中台要開放能力,不是眉毛鬍子一把抓,需要尊重公司的現狀,為不同的角色提供不同的數據開放手段。比如標籤庫主要為業務人員服務、DM主要面向會SQL的人員,組件服務則面向技術開發人員等等。

浙江移動數據中台的建設和應用實踐 15

浙江移動數據中台的建設和應用實踐 16

10、數據中台的出口在哪裡?

有了數據中台遠遠不夠,只有之上的數據產品才能解決數據推送的最後一公里問題,很多數據團隊最大的問題是沒有數據產品,根本不是數據中臺本身就能解決的。

凡是數據中台做的好的,前端的數據產品生態肯定是不錯的,下圖示例了我們的數據產品與阿里巴巴的對標,在我的前期文章中也有詳細的闡述,即要從不同的賦能角色角度去思考數據產品的方向。

浙江移動數據中台的建設和應用實踐 17

經過幾年的摸索,賦能對外變現的神燈產品體系已經具備一定的規模,神燈產品以數據價值保護和信息安全為前提,進行數據、模型、標籤、接口、應用產品等多層次的合作,探索合作研發、銷售代理、資源互換、產品孵化、模型錘煉、大數據聯邦等多種新型合作模式,如下頁所示。

浙江移動數據中台的建設和應用實踐 18

浙江移動數據中台的建設和應用實踐 19

數據中台不需要去比框架、比技術或比性能,只要你的企業的業務人員或外部客戶利用你的平台創造了更多價值,就是對數據中台最大的褒獎。

但要達到這個目標光有個數據中台是沒有用的,除了數據產品,還需要配備相應的戰略、組織、機制及人員等等,比如組織中台,也即先進生產力要適配相應的生產關係。下圖列出了八個方向的建議,這些能力對傳統企業的挑戰特別巨大。

浙江移動數據中台的建設和應用實踐 20

這次演講基本的思想就是這些了,感謝TD公司的組織,讓我們有機會讓業界看到浙江移動的做法,但你沒必要COPY我們的,因為數據中台沒有標準架構,總是要掌握一個原則:參考別人的做法,聽取專家的意見,然後自己做主。

作者介紹

傅一平 (微信號:fuyipingmnb)

本文轉載自公眾號與數據同行(ID:ysjtx_fyp)。

原文鏈接

https://mp.weixin.qq.com/s/QDtB9u1mg7O6ASe2bAWKig