Categories
程式開發

Netflix開源內部Python工具Metaflow:機器學習項目部署時間從四個月縮短至7天

2019年12月4日,Netflix數據科學團隊宣布其內部使用多年的Python庫Metaflow正式開源。 Metaflow是Netflix機器學習基礎架構的關鍵部件,主要用於加速數據科學工作流的構建和部署,Netflix希望通過開源Metaflow簡化機器學習項目從原型階段到生產階段的過程,進而提高數據科學家的工作效率。

Netflix開源內部Python工具Metaflow:機器學習項目部署時間從四個月縮短至7天 1

Netflix(官方中文名稱:網飛)是全球最大的視頻流媒體平台,在除中國大陸以外的所有國家和地區都提供視頻點播服務。這家視頻流媒體巨頭在其業務的各個方面都使用了機器學習,從劇本分析到優化製作時間表、預測客戶流失、視頻定價、視頻字幕翻譯以及優化其龐大的內容分發網絡,而其中有許多機器學習應用都由Metaflow提供支持。它是一個基於Python編寫的框架,可以使機器學習項目從原型階段到生產階段變得更加容易。在過去兩年中,Metaflow已在Netflix內部用於構建和管理從自然語言處理到運營研究的數百個數據科學項目。

Netflix開源內部Python工具Metaflow:機器學習項目部署時間從四個月縮短至7天 2

據Netflix內部調研發現,數據科學家喜歡使用Python代碼來實現業務邏輯,但不想花費太多時間思考諸如對象層次結構、封裝等問題,或處理各類晦澀的API。

因此,Metaflow想做的就是讓Netflix數據科學家能夠儘早查看原型模型是否會在生產環境中失敗,讓他們可以提前解決問題,並加快部署速度。 …

Categories
程式開發

十年前为Service Mesh命名,现在我想再聊聊世界上炒得最热的这个技术

如果你是后端软件工程师,那么在过去几年里,service mesh这个词很可能已经深入你的潜意识了。各种事情神奇地汇聚在一起,结果就是service mesh就像Katamari ball一样在业界滚来滚去,不断地获取更大的市场份额和声望,同时丝毫没有短期内消停的迹象。

service mesh诞生于云原生生态的昏暗激流之中。这就意味着service mesh的大量内容是很悲剧地从“低营养”到——用学术名词来说就是——“基本一无是处”。然而,如果能够拨开这些迷雾,你会发现service mesh也有一些切实且重要的价值。

在本文中,我会努力提供一份诚实的、有深度的、聚焦于工程师的service mesh指南。我要谈的不仅有service …

Categories
程式開發

10億基金、百萬獎勵,區塊鏈未來必須看海南

10億基金、百萬獎勵,區塊鏈未來必須看海南 8

12月4日, 海南省工業和信息化廳廳長王靜在海南生態軟件園發布海南自貿區(港)區塊鏈試驗區《關於加快區塊鏈產業發展的六條措施》(簡稱“鏈六條”)。同時,南海雲控股股份有限公司聯合創始人、CTO陳邦道發布了“鏈上海南”計劃。 10億區塊鏈基金、百萬領軍人才獎勵、“鏈上海南”計劃實施,海南已經成為區塊鏈領域不得不讓人關注的城市之一。

海南區塊鏈“大膽試、大膽闖”

據中商產業研究院數據庫統計,去年海南57%的收入來自第三產業即服務業。經國家統計局評估確認,2018年海南全省地區生產總值完成4832.05億元,比上年增長5.8%。但作為成立30多年的最大、也是唯一的省級經濟特區來說,海南經濟特區經濟總量目前還遠遠落後於其他經濟特區。去年,深圳GDP已突破24000億,海南才4800億,一個深圳市相當於五個海南省!海南仍需要新的發展機遇。

10億基金、百萬獎勵,區塊鏈未來必須看海南 9

幸好,在區塊鏈大熱,但尚未上升為國家層面時,海南就開始擁有了區塊鏈相關利好政策。

去年4月11日,《中共中央國務院關於支持海南全面深化改革開放的指導意見》發布,支持海南大膽試、大膽闖、自主改,並且正式將海南定為改革開放試驗區。這對當時野蠻生長的區塊鏈來說無疑是個重大利好,當時很多人預測,區塊鏈將是海南重點扶植對象。

去年10月份,海南生態軟件園設立了區塊鏈產業試驗區,成為國內正式授牌的首個區塊鏈試驗區。海南發展區塊鍊等數字經濟產業正式拉開序幕。

去年的市場寒冬裡,各區塊鏈企業紛紛裁員、縮減業務求生存,而海南區塊鏈產業試驗區的成立鼓舞了很多當時已經萎靡不振的企業。火幣集團、百度區塊鏈實驗室、360區塊鏈、迅雷區塊鏈、火星財經總部等紛紛入駐區塊鏈產業試驗區。自此,海南也擔起了區塊鏈“先行先試”的使命。…

Categories
程式開發

混沌工程:一年間重啟5000台機器後學到的7個經驗

頭號工程的誕生

在公司”核心產品看穩定性,通用產品看豐富度“的指導思想下,短短一年多的時間,我們對外提供的近200個產品中,公測產品佔比超過30%,這還不算處於內測和孵化期的產品。

產品豐富度是上去了,但大家都擔心一個問題,在這麼短的時間內,上線如此多的產品,質量是否能夠做到最好?外加2018年,公有云廠商發生了至少9次較為嚴重的故障,於是,混沌工程作為提升產品質量的頭號工程,便應運而生。

通過業界標杆確立演進路線

在混沌工程的開始,我們主要參考的是混沌工程的鼻祖Netflix公司,加之Netflix是基於公有云進行的部署,對公有云廠商來講,具有很強的借鑒和推廣意義,因此標杆就這麼愉快的確定了。在確立標杆的同時,我們也持續跟進著業內其他廠商的實踐經驗,避免走太多的彎路。

在對業界廠商的混沌工程落地經驗進行多次復盤後,我們總結出適合於自身現狀的演進路線,分為以下六個階段。這部分我們已經在混沌工程系列的第一篇文章中進行了介紹,詳情參考文章《混沌工程落地的六個階段》。

混沌工程:一年間重啟5000台機器後學到的7個經驗 11

單機破壞進展緩慢

開始做單機破壞的時候,結合Simian Army的功能點和模塊數量較多的情況,我們也做了最壞的打算,通過半年左右的時間把單機問題徹底消滅,事實證明,我們還是too young …

Categories
程式開發

搖錢樹還是爛攤子? Pichai接任Alphabet CEO,隨之而來的是更大的麻煩

北京時間12月4日,Sundar Pichai接任了Alphabet CEO,成為了同時擁有Alphabet與穀歌兩座“金山”的人,但是未來Alphabet面臨的挑戰會是對Pichai的一項重要考驗。

這大概是矽谷“最糟糕”的工作

糟糕?這個被無數人艷羨的職位怎麼會是糟糕的工作呢?沒錯,對於Pichai來說,Alphabet CEO的職位或許更像是一個“燙手山芋”。

虧損一直在發生

Larry …

Categories
程式開發

一年只用一天的系統如何做技術沉澱?

今年是雙11的第11年,貓晚的第五年。

今年的天貓雙11狂歡夜(簡稱“貓晚”):有超200個國家和地區通過優酷APP觀看貓晚直播;共有5144萬人通過貓晚公益直播間觀看明星賣農貨,網友在淘寶直播間點贊1億次。今年貓晚海外藝人參與的節目超過了四成,晚會版權輸出到106個國家和地區,實現了除南極洲外的全覆蓋。

一年只用一天的系統如何做技術沉澱? 13

2019“貓晚”現場,圖為騰格爾唱《High歌》

2019貓晚不僅在優酷,還打通手淘、天貓等APP,實現了多屏、多端、雙向的互動,將互聯網晚會的互動形態推進到3.0時代。如晚會上跑男隊和街舞隊在一個4×8米的巨型觸摸屏上玩起了“好禮對對碰”遊戲。優酷和淘寶的網友在APP端也可以選擇加入某一戰隊,遊戲比分實時計入明星嘉賓的成績中,影響節目進程。觀眾還可以通過互動打賞給喜愛的節目“打call”,優酷直播間63%觀看晚會的用戶參與了互動,較去年增長7%。

很榮幸,我能有機會參與到雙11貓晚項目,藉這個機會給大家分享技術在貓晚落地的過程和思考。

技術目標如何定

貓晚KO時,總負責人說貓晚是給天貓雙11消費者辦的晚會及回饋,所以我們目標不僅要給消費者提供視覺盛宴,還要給消費者帶來實惠,要給商家帶貨;雖然自古忠義不能兩全,魚與熊掌不可兼得,但是項目組同學即使執手相看淚眼竟無語凝噎也要咬牙接下有挑戰的目標。基於這幾個方向團隊開始做分解,貓晚產品技術運營設計團隊核心要承載晚會的傳播影響力、豐富有趣的互動形式、以及進店的引導和讓消費者實惠的權益發放。

明確定位後貓晚的核心業務目標相對就清晰了,基於業務目標技術同學進一步分解首要是業務目標支撐,穩定是底線、體驗要保證、權益全發放、不能有資損(還有團隊有成長、系統有沉澱)。

一年只用一天的系統如何做技術沉澱? 14

業務技術大圖

所以貓晚技術目標制定的思考路徑是,…

Categories
程式開發

給程序員發工資的老闆們都拿多少錢?

我們常說:“出任CEO,走上人生巔峰。”那麼,CEO到底能賺多少錢呢?

近日,Blossom Street Ventures公司調查了101家科技公司首席執行官(CEO)在IPO時的薪酬。從調查報告看,各家CEO的薪酬差距很大,有的CEO年薪可能為3.5萬美元,而有的CEO年薪達到了32.5萬美元。

免費務工的CEO,不僅沒工資,而且沒獎金

一眼看過去,這張表格中有一行數據(參見文章末尾的完整表格)很是顯眼,這位CEO的整體收入居然是0元,不僅沒有基本工資,就連獎金和期權收入也是0元。他就是NantHealth的創辦者兼 CEO 黃馨祥(Patrick …

Categories
程式開發

開源不是天才的甜點,而是勤奮者的盛宴

11 月 24 日,TGO TALKS 的舞台迎來了 6 位經歷過嚴格培訓的 CEO、CTO、Team Leader

Categories
程式開發

我經歷過的最難調試的Bug

您曾經調試過的最困難的bug是什麼?本文將介紹作者至今最困難的一次調試經歷,希望從他懷疑硬件,再到懷疑軟件到最終解決問題的過程中,能夠為讀者帶來一些啟示。

我經歷過的最難調試的Bug 34

當我採訪開發人員時,有時會問這樣一個問題:“您曾經調試過的最困難的bug是什麼?”大多數人都喜歡拋出一段特殊的缺失分號的血淚史,一個難以使用的API ,或者他們抓狂地修改舊的、無文檔的代碼經歷。以下是我對這個問題的回答。

問題

問題來自一台有多個條形碼讀取器的機器。我們已經製造了8台這樣的機器,其中一台在英國生產了幾個月,而其餘7台剛剛在中國安裝完畢,而問題就出在了中國的其中一台機器上。

我們收到一份報告說其中一台機器投入生產後不久就停止了工作。客戶說有一個他們無法解除的錯誤。這個錯誤會中止產品生產,每停機一分鐘就會造成很大的經濟損失。在任何時期,我們都不希望出現這種情況。我進行了遠程操作,發現攝像頭已經停止向PLC(可編程邏輯控制器)發送結果,導致我們的軟件用戶界面發出警報。在這台機器上,將ID40作為數字IO予以連接以直接向PLC輸出通過或失敗的信號。這表明,故障可能與軟件無關,但在這個行業摸爬滾打過幾年的我知道:硬件和PLC通常都很穩定,95%的情況下是軟件出了問題,所以我總是假設是軟件出了問題。

從字面上看,這個故障意味著PLC認為觸發了攝像頭,在它再次觸發攝像頭之前沒有收到數字IO結果,要么攝像頭沒有被PLC觸發,要么攝像頭沒有輸出通過或失敗信號,要么PLC沒有接收到通過或失敗信號。我以為這是一次偶然,但如果是這種情況,重置和恢復就可以解決,而客戶反映說,這麼做沒用。這台機器將繼續生產下一個產品,然後再次停止。在遠程觀察到這一點後,我告訴他們重新啟動這台機器。我對此沒有合理的解釋,希望這只是一次偶然(從來就沒有偶然)。幾個小時後,我又接到了電話,還是同一個問題。這一次,客戶已經禁用了導致問題的攝像頭,但是現在,第二個(託管的)攝像頭顯示出相同的錯誤。

調試第一天

Categories
程式開發

微軟基於Rust開發新的安全編程語言

微軟基於Rust開發新的安全編程語言 35

為提高Windows 10的安全性,微軟研究人員Matthew Parkinson在本週的一次演講中披露:微軟正基於Rust開發新的安全編程語言。這個項目,被微軟稱為“Verona”。

Verona項目主要目的是通過使用Rust開發Windows底層組件,從而讓Windows 10變得更安全。…