【新智元导读】近日,三位年轻华人AI博士有了最新的职业方案:陈天奇、朱俊彦双双宣告将于2020年秋季加入CMU,担当助理教授;金驰则宣告今年9月加入普林斯顿,担当助理教授。

三位华人AI大年夜神陈天奇、朱俊彦、金驰加入CMU普林斯顿任教_普林斯顿_传授 云服务

精良,可能是一种习气。

最近,三位华人AI大牛博士生的职业方案有了最新的进展:

XGBoost作者陈天奇宣告2020年秋季加入CMU,担当助理教授;CycleGAN作者朱俊彦宣告2020年秋季加入CMU,担当助理教授;ICML 2018研讨会“RL探索”最佳论文奖得主金驰宣告2019年9月加入普林斯顿,担当助理教授。

三位AI大神的博士生涯即将告一段落,等待他们的是更富寻衅、更具意义的科研事情。
正如陈天奇和朱俊彦在Twitter中表示,他们都希望在各自的领域做出更多贡献。

恭喜!
加油!

XGBoost、TVM作者陈天奇加入CMU

华盛顿大学博士生、著名机器学习算法XGBoost,深度学习编译器TVM等的作者陈天奇近日在Twitter上宣告,将于2020年秋季加入CMU机器学习系担当助理教授。

陈天奇说:

我将于2020年秋季加入CMU担当助理教授。
我非常感谢我的导师、互助者和华盛顿大学在我的博士生涯中给予我的帮助。
期待与CMU同事互助,为未来的智能系统进行更多研究。

陈天奇博士就读于华盛顿大学保罗·G·艾伦打算机科学与工程学院,在上海交通大学ACM班得到硕士和学士学位。

谷歌AI卖力人Jeff Dean、GAN发明者Ian Goodfellow、CMU副教授马坚等人都表示了祝贺。

AI大牛李沐也在知乎上透漏了一点陈天奇加入CMU的进程:

两点感慨:

1. CMU 很早就开始做 system 和 machine learning 结合的研究(2011 年旁边吧),经由前期很多探索和弯路(错过了好几个 super star),终于招到了最得当的年轻老师。
天奇之前还在纠结要不要去 CMU,终于决定了。
这是 CMU 的一大幸事。

2.比较间接的理解了天奇的找 faculty 之路,感慨是有好的事情是条件,但对方学校欣赏也很主要。
至少你去口试的 host 须要很欣赏你的事情。
例如我很喜好 TVM 的事情,我们组也有好几个成员投入在 TVM 上,以是常常出门推销。
过程中创造我之前 CMU 的系统方向老板也很喜好(天奇的 CMU 口试 host),我以前在 CMU 的办公室友很喜好(天奇纠结的另一个 offer 的 host),我们组 TVM tech leader 的老板也很喜好(另一个发 offer 的 top 学校的大佬)。
此外,比较遗憾是其余几个非常强的学校没有跟进。
我个人是很希望天奇能去 standford 或者 berkeley,这样未来互助更方便(CMU 实在是太偏了,湾区去匹兹堡的直达彷佛都没了)。
没拿到也不虞外,之前跟他们几个大佬老师聊的时候,彷佛对这一块不感兴趣。

(https://www.zhihu.com/question/329657835/answer/717971252)

“有好的事情是条件”。
陈天奇的博士生涯中,做了不少被广泛采取的好事情。
在他的主页上,他写道:“我对机器学习和系统的交叉研究十分感兴趣。
这个领域真正令人愉快的地方在于,当我们将前辈的机器学习技能和系统结合在一起时,能够实现什么。
此外,我也在推动深度学习、知识迁移和终生学习(lifelong learning)等方向。

陈天奇得到了Google Ph.D. Fellowship、2012年KDDCup冠军、2011年KDDCup亚军等奖项,在ICML、ICLR、NeurIPS、KDD等人工智能顶会揭橥多篇论文。

陈天奇和团队开拓了三个被广泛采取的机器学习系统:

TVM stack:一个用于深度学习的自动端到端优化编译器。
XGBoost,一个可扩展的、端到真个tree boosting系统。
这个工具已经成为数据科学家每天利用的工具之一。
Apache MXNet(共同作者):目前AWS采取的紧张深度学习框架之一。

先看XGBoost,XGBoost 最初是一个研究项目,由当时在 Distributed (Deep) Machine Learning Community (DMLC) 组里的陈天奇卖力。

2014 年,时为华盛顿大学博士的陈天奇开源 XgBoost 算法,受到大众追捧,之后它也迅速成了 Kaggle 竞赛中的常客。

时至今日,XgBoost 在竞赛中的利用率还是很高,性能也很好,不少夺冠方案中都有它的身影,被誉为比赛夺冠的大杀器。

陈天奇的另一个主要事情是TVM。

TVM是一个神经网络编译器,它可以直接从其他框架演习好的模型编译到目标平台上的可实行代码,速率和显存的都有大幅优化。
TVM使得自动或者半自动天生的代码能够达到手写代码的效果。

陈天奇把 TVM+NNVM 描述为 “深度学习到各种硬件的完全优化工具链”。
他在知乎上对TVM进行理解释:

TVM 考试测验从更高的抽象层次上总结深度学习 op 的手工优化履历,用来使得用户可以快速地以自动或者半自动的方法探索高效的 op 实现空间。

TVM 和已有的办理方案不同,以 XLA 作为例子,TVM 走了和目前的 XLA 比更加激进的技能路线,tvm 可以用来使得实现 XLA 须要的功能更加随意马虎:已有的办理方案本身基于高等图表示的规则变换,可以产生一些图级别的组合 op 优化,如 conv-bn fusion,但是依然要依赖于手写规则来达到从图的表示到代码这一步。
图的 op 表示到代码本身可以选择的东西太多,如何做线程,如何利用 shared memory,而大部分没有在图措辞里面得到刻画,导致难以自动化。
这样下去深度学习系统的瓶颈一定从 op 实现的繁芜度变成了实现 graph compiler 中模式生成规则的繁芜度。
走这个方向须要非常大的工程团队的支持,而我们希望采取更少的人力达到同样乃至更好的效果。

我们采纳了风险更大但是回报也更大的长远技能路线。
大略地说,TVM 通过把图到 op 生成规则这一步进一步抽象化,把生成规则本身分成各个操作原语,在须要的时候加以组合。
基于 tvm 我们可以快速地组合出不同的 schedule 方案。

链接:https://www.zhihu.com/question/64091792/answer/217722459

此外,陈天奇还和李沐一起,是 DMLC(Distributed (Deep) Machine Learning Common) 及其紧张项目 MXNet 的紧张 发起人和紧张贡献者之一。

加入CMU后,陈天奇将连续揭橥哪些事情令人期待。
有人表示,CMU 大概率迎来史上第一门 AI systems 课。

“开拓者”:朱俊彦年仅30岁拿到CMU教职

与此同时,另一位AI大神朱俊彦也表示将在2020年秋季回到CMU,担当助力教授一职。

6月14日,朱俊彦在其Twitter上宣告:

在加州大学伯克利分校和麻省理工学院CSAIL度过了美好的光阴之后,我将于2020年秋季回到CMU担当助理教授。
我期待在图形、视觉和机器学习的交叉领域做更多的事情。

2012年,朱俊彦得到了清华大学打算机系的工学学士学位。
而后便前往CMU和UC Berkeley深造,经由5年的学习,朱俊彦于2017年得到了 UC Berkeley 电气工程与打算机科学系的博士学位(他的导师是 Alexei Efros,博士研究由一项 Facebook 奖学金支持)。

他的博士毕业论文Learning to Generate Images,得到了打算机图形学顶会ACM SIGGRAPH 2018“精彩博士论文奖”。

朱俊彦博士可谓是打算机图形学领域当代机器学习运用的开拓者。
他的论文可以说是第一篇用深度神经网络系统地办理自然图像合成问题的论文。

因此,他的研究对这个领域产生了重大影响。
他的一些科研成果,不仅为打算机图形学等领域的研究职员所用,也成为视觉艺术家广泛利用的工具。

个中,最为"大众年夜众所熟知的便是CycleGAN。

CycleGAN利用pixel2pixel技能,能自动将某一类图片转换成其余一类图片,过度真实自然,可以说是2017年最受关注的模型之一。

不仅仅是CycleGAN,朱俊彦还有诸多家喻户晓的科研成果。

英伟达在GTC 2019上推出了一个令人惊叹的图像天生器——GauGAN,可以说是凭借几根线条,草图秒变风景照。
而朱俊彦便是作者之一。

论文地址:https://arxiv.org/pdf/1903.07291.pdf

这个软件能够将人类的绘画办法和过程进行编译,在几秒钟内就能画出草图,并将其转换为逼真的照片。
从软件的早期演示中,它彷佛能够做到这一点。

此外,最近爆火的MIT十美元“灭霸”手套也是朱俊彦的精品。

这个神奇手套名为“可伸缩触觉手套”(scalable tactile glove,STAG),利用柔性材料,在险些整只手上支配了550个微型传感器。
仅利用触觉数据,AI系统识别物体的准确率高达76%。

实验还证明,大量的压力争及其空间分辨率是成功识别目标的关键。
并且类似的深度学习模型可以估计未知物体的重量。
结果显示,重量在60克以内的物体大部分都能准确估计出来。

这项事情还揭橥在了国际科技期刊《Nature》。

论文地址:

https://www.nature.com/articles/s41586-019-1234-z

除上述这些非常出名的造诣外,朱俊彦的其它事情也是非常出彩的。
更多科研成果可以访问下方个人主页:

朱俊彦个人主页:

http://people.csail.mit.edu/junyanz/#sect-awards

2018 年,朱俊彦得到了 UC Berkeley 颁发的 David J. Sakrison Memorial Prize,以及英伟达的 Pioneer Research Award。

他还曾得到过以下奖项和奖学金:

ACM SIGGRAPH精彩博士论文奖(2018年)伯克利EECS(2018年)David J. Sakrison精彩博士研究纪念奖NVIDIA先锋研究奖(2018年)Facebook奖学金(2015年)清华大学精良本科毕业论文(2012)清华大学精良本科生(2012年)国家奖学金,由中国教诲部颁发(2009年和2010年)新加坡科技工程中国奖学金(2010年,2011年和2012年)金驰:北大学子到普林斯顿任教

金驰目前是加州大学伯克利分校电气工程与打算机科学(EECS)专业的6年级博士生,师从Michael I. Jordan。
他也是RISELab和伯克利人工智能研究(BAIR)的成员。
在此之前,金驰得到了北京大学物理学学士学位,并在王立威教授的辅导下完成了本科论文。

金驰的研究兴趣在于机器学习、统计和优化。
他博士研究的紧张目标是设计更好的学习算法,这些算法在理论上是健全的,在样本繁芜性、运行韶光和空间上是有效的。
为了实现这一目标,他的研究重点是供应对非凸优化中基本问题的更深入理解,以及最近的强化学习。

金驰将于2019年9月加入普林斯顿大学电气工程系,担当助理教授。
他还将参加2019年秋季IAS的“优化、统计和理论机器学习特殊年”。

金驰与导师Michael I. Jordan互助的论文:

On Gradient Descent Ascent for Nonconvex-Concave Minimax Problems(关于非凸 - 凹极小极大问题的梯度低落问题)Stochastic Gradient Descent Escapes Saddle Points Efficiently(随机梯度低落有效地逃脱鞍点)A short note on concentration inequalities for random vectors with subgaussian norm(关于具有subgaussian norm的随机向量的集中不等式的简短解释)Minmax Optimization: Stable Limit Points of Gradient Descent Ascent are Locally Optimal(Minmax优化:梯度低落上升的稳定极限点是本地最优的)Sampling can be faster than optimization(采样可能比优化更快)On the local minima of the empirical risk(论履历风险的局部极小)Is q-learning provably efficient?(q-learning是否可证明有效?)——2018年ICML研讨会“RL探索”最佳论文Stochastic cubic regularization for fast nonconvex optimization(用于快速非凸优化的随机三次正则化)Accelerated gradient descent escapes saddle points faster than gradient descent(加速梯度低落比梯度低落更快地逃脱鞍点)How to escape saddle points efficiently(如何有效地逃脱鞍点)Gradient descent can take exponential time to escape saddle points(梯度低落可以采取指数韶光来逃离鞍点)

更多论文拜会金驰谷歌学术主页:

https://scholar.google.com/citations?user=GINhGvwAAAAJ&hl=en

***:

2018年10月,在第56届Allerton大会上作了受邀演讲。
2018年7月,论文“Q-Learning是否可证明有效?”在ICML 2018研讨会“RL探索”中得到最佳论文奖。
2018年7月,联合举办了ICML 2018研讨会“机器学习非凸优化的当代趋势”。
2017年7月,关于如何有效逃离鞍点的博客帖子。

教诲经历:

2013年至今加州大学伯克利分校打算机科学博士生 2012-2013多伦多大学统计学客座学生 2008-2012北京大学物理学学士

演习经历:

2016年夏季微软研究院,RedmondDong Yu研究演习生 2015年夏季微软研究院,新英格兰Sham Kakade研究演习生

金驰个人主页:

https://sites.google.com/view/cjin/home