Categories
程式開發

独家专访高通副总裁Max Welling教授:领会因果关系才能泛化智能


本文为 Robin.ly 授权转载,文章版权归原作者所有,转载请联系原作者。

Robin.ly在NeurIPS2019现场特邀阿姆斯特丹大学机器学习研究主席、高通荷兰公司技术副总裁 Max Welling,分享他六篇被收录的论文亮点,以及他对分布式机器学习、边缘计算以及欧美在 AI 研究之间差异的独到见解。

独家专访高通副总裁Max Welling教授:领会因果关系才能泛化智能 1

Max Welling 教授(左)在NeurIPS 2019大会接受Robin.ly专访

Welling 教授在机器学习、计算机视觉、深度学习、贝叶斯推理、生成建模和图卷积网络方面发表了 300 多篇同行评审文章。他曾在乌得勒支大学(Utrecht University)诺贝尔奖获得者 Gerard’t Hooft 的指导下获得了量子物理学博士学位。

他同时也是欧洲学习和智能系统研究机构(European Laboratory for Learning and Intelligent Systems, ELLIS)的董事会成员之一。ELLIS受加拿大高级研究院(CIFAR)启发,旨在吸引和留住欧洲顶级AI人才,并提高欧洲作者对AI研究的影响。在2019温哥华NeurIPS会议上,ELLIS还与CIFAR的“机器与大脑学习”计划签署了意向书,该计划由深度学习先驱Yoshua Bengio和Yann LeCun 共同执导。

独家专访高通副总裁Max Welling教授:领会因果关系才能泛化智能 2

从左到右:Yoshua Bengio、Bernhard Schoelkopf、Nuria Olivier、Matthias Bethge、Max Welling、Sami Kaski、Sepp Hochreiter以及Yann LeCun。来源:ELLIS

以下为完整访谈视频

http://mpvideo.qpic.cn/0b78qaaamaaalaacg4cd7npfbagda2aaabqa.f10002.mp4?dis_k=a1e476ffc7e23bf7eefba947301b2b37&dis_t=1582697054

1 NeurIPS 2019 的论文亮点

Margaret Laffan: Welling 教授,今年您有六篇论文已经被 NeurIPS 收录。能不能跟我们介绍一下其中的亮点?

Max Welling:

说实话,很难取舍。不过我想强调其中两篇论文,它们的主题比较相似。其中一篇曾经在快速 MRI 竞赛中获胜,该竞赛的目的是利用更少的观察次数来预测高分辨率的 MRI 图像,可以显著缩短患者在 MRI 机器中的停留时间,从而降低成本。更令人兴奋的是,现在也有可以实时成像的 MRI 机器,能够同时进行放射治疗,例如癌症。我们希望拥有一个能够随着患者呼吸而移动的系统,实现精确打击目标组织,而不会误伤健康组织。我们带着这个目的参加了比赛,目标是将 MRI 图像的重建速度提高八倍。相关论文题目是《Invertible Recurrent Inference Machine》,其核心观点是在人们使用传统的压缩传感(不需要从其他数据中学习的另一种技术)之前,就使用深度学习技术进行重建。我们非常成功地使用了这一方法,在本次 NeurIPS 大会上也进行了详细介绍。

另一篇相关论文则试图应用这一理念来完成一项任务。目前有许多经典的工程解决方案,但效果暂时还达不到人们的期望,毕竟人类的想象力是有限的。但我们不能借此抛弃由人建立的模型,而是要使用深度学习来纠正其中的错误。我们也在另一篇论文中探讨了图形模型,并搞清了如何在这种情况下做到这一点。

独家专访高通副总裁Max Welling教授:领会因果关系才能泛化智能 3

MRI,来源:Wikimedia

2 机器学习领域的趋势

Margaret Laffan: 您在过去十年中观察到机器学习领域的趋势和挑战有哪些?

Max Welling:

就像其他任何领域一样,机器学习的很多概念和技术也经历了兴衰。一个领域的潮流通常会维持五到十年。我也从早期关注图形模型和独立成分分析开始,过渡到关注支持向量机、非参数方法、贝叶斯方法和非参数贝叶斯方法,再到深度学习。我认为这很好,因为我们一直在把重点放在新的、非常有前途的工具上,并且不断努力从中获得最大收益,再由后人不断完善。

3 边缘计算

Margaret Laffan: 您之前的初创公司 Cypher 在 2017 年被高通公司收购。边缘计算(edge computing)是一个很热门的话题,您对此有什么看法?使用边缘计算对成本有什么影响?

Max Welling:

我们身边的很多数据是以非常分散的方式收集的。我们未必希望与大公司实时分享所有数据,以换取他们的服务。我们可以利用联邦学习(Federated Learning)、分布式学习或边缘计算,将数据从云端转移到本地设备储存,并以分布式的方式训练模型而无需共享。如果必须在云端共享某些内容,我们会对数据进行干扰或执行类似的操作以保护隐私。除此之外,我们还要考虑延迟等其他的问题。比如在遇到紧急情况时,出于安全考虑,我们也要尽量进行本地操作以减少云可能造成的延迟。以上是使用边缘计算的两个比较主要的原因。我们希望围绕着可靠性,减少延迟和私密性进行大量数据的计算和存储。

说到成本,我认为边缘计算的扩展性很好。我更担心在云端运行庞大的神经网络的成本。因为人们普遍认为,神经网络越大越好,即投入的计算量越大,制作出的模型就越大,性能也就越好。但人们有时依旧对此类模型的可行性存在质疑。如果使用更复杂的模型,从企业的角度来讲,收益和投入不成正比,难以持续下去。因此,我们要想办法减小模型的规模,对其进行量化并降低精度,以便在更廉价的设备上运行。比如我们都有手机,与其在夜间把它放在插座上充电,能不能让它同时运行一个模型,一边进行计算,一边将电能转化为热能,顺便给房间供暖呢?这其中涉及到了非常有趣的协同作用。如果我们搭建了一批 GPU,分布在房间的各个角落进行计算,就构成了一个网络,可以通过在设备上进行计算来调节室温。所以我认为这是一个更具扩展性的模型。

独家专访高通副总裁Max Welling教授:领会因果关系才能泛化智能 4

边缘计算图示,来源:Wikimedia

4 学术研究和商业化的差距

Margaret Laffan: NeurIPS 代表了世界上最好的 AI 学术研究。自 2015 年以来,您一直在担任 NeurIPS 的董事会成员。您如何看待这个大会在过去四年中的演变?

Max Welling:

首先,这个会议的规模呈现了显著的增长,也发生了一些有趣的变化。去年,我们把会议名称从“ NIPS”,改成了“ NeurIPS”,因为旧的名称已经不适应社会的发展潮流和公众的认知。另外在今年,为了使会议更具包容性,很多少数群体也举办了自己的分会,例如 “Black in AI”,“Women in AI”,“LatinX in AI”以及“Queer in AI”,这是非常好的现象。所以我认为我们在过去一年中取得了很大的进步,包容性成为了 NeurIPS 一个重要的主题。

Margaret Laffan: 您认为当前的学术研究和商业化之间存在什么样的差距?

Max Welling:

学术研究和商业化的差距正在逐步缩小。我有一半的时间都在高通工作,也能够直接观察到,一天之内 arXiv 上的学术论文如何在研究人员和公司的努力下完成具体的实施。这是一种非常有效的机制,可以将学术界的研究成果转移到工业界。同时,工业界也在向学术界过渡。很多公司雇用了研究性人才,建立自己的研究实验室并提供论文和实验结果,更研发了 TensorFlow 和 PyTorch 等开源软件。同时,公司也像许多项目主席和董事会成员一样,参与组织会议。因此从某种意义上讲,大家都在用不同的方式贡献自己的力量。

5 欧美地区的学术差异

Margaret Laffan: 您在欧洲和北美都做过一段时间的 AI 研究。能否分享一下这两个地区做学术的差异和相似之处?

Max Welling:

这个问题很有意思。我认为研究领域存在两种模式,一个是盎格鲁·撒克逊模式(Anglo-Saxon model),一个是欧洲大陆模式。我认为英国采用的更接近盎格鲁·撒克逊模式,也就是说,助理教授可以建立自己的研究小组,并完全独立地发展这个小组,当然还要自己负责申请科研基金。我认为这是一个非常好的模型,为新的研究者提供了更多的自由。

采用欧洲大陆模式,更常见的是一个由副教授和助理教授组成的,具有某种金字塔结构的层次化模型。这样做的好处是团队成员可以更加团结一致,共同解决一个非常大的问题;缺点是会削弱新人的研究自由度。我认为,作为高级研究人员,倾听年轻人的声音非常重要,他们能够带来新的想法和研究方向,不应该受困于资深人士已有的研究领域。因此,从这个角度来说,我更喜欢盎格鲁-撒克逊模式

独家专访高通副总裁Max Welling教授:领会因果关系才能泛化智能 5

阿姆斯特丹大学,来源:Wikimedia

6 2020 年 AI 和 深度学习的发展趋势

Margaret Laffan: 您认为在 2020 年,人工智能和深度学习领域的下一个主要趋势是什么?

Max Welling:

一个比较突出的领域是强化学习,这个领域近几年已经逐渐变得炙手可热。人们正在尝试构建强化学习算法,这些算法能够与现实世界互动,在新的条件和环境下也能很好地泛化,也就是我们所说的“通用人工智能”。

我还看到了一个明确的方向,但目前关注的人还不是很多,那就是人们正在使用对因果关系的研究来实现这一目标。如果我们获得了现实世界存在的因果结构,就会对现实世界有更多的了解,解决方案也能够更好地泛化。因此,我在这个领域看到了很多非常有前景的工作。

我认为让深度学习和机器学习技术更加节能会成为一种持续的趋势,这一点非常重要。因为摩尔定律已经达到极限,为了保持增长的步伐,我们必须进行某种创新。我们正在构建针对特定任务的专用芯片,而想要让所有芯片协同工作,我们还必须解决一系列有趣的挑战。(完)

本文转载自 Robinly 微信公众平台。

原文链接

https://www.robinly.info/post/max-welling-university-amsterdam-qualcomm-distributed-machine-learning-neurips-2019