NeurIPS公布最佳论文:华为实验室榜上有名加拿大年夜高校实力雄厚_论文_模子
本次会议共收到投稿 4854 篇,根据官方供应的论文列表,本次会议共收录 1010 篇论文,吸收率为 20.8%。
对论文题目进行统计剖析,不出猜想,霸占前三位的实意词语分别为 Learning、Neural、Network(s),均在超过十分一的标题中涌现。接下来涌现频率较高的词语为 Deep、Optimization、Model(s)、Bayesian、Stochastic、Gradient、Adversarial、Variational、Reinforcement、Data、Generative、Efficient、Inference、Gaussian、Graph、Robust、Linear、Fast 和 Descent。这些词语涌如今超过 2% 的题目中。
其余,我们也不丢脸出,贝叶斯方法、强化学习、GANs、模型的鲁棒性和高效性等是当前研究的热点。
(来源:NeurIPS)
目前,NeurIPS 已经公布了今年的 4 篇最佳论文和韶光考验奖。最佳论文中的三篇出自加拿大顶尖大学,加拿大人工智能的实力引人瞩目。其余一篇论文来自 Google AI 。值得一提的是,来自华为实验室的研究者榜上有名。
以下为 4 篇最佳论文的信息:
1、Neural Ordinary Differential Equations (参考译名:神常常微分方程)作者:Ricky T. Q. Chen, Yulia Rubanova, Jesse Bettencourt, David Duvenaud 论文地址:https://arxiv.org/abs/1806.07366这篇论文来自于加拿大多伦多大学的 Vector Institute。论文中先容了一类以黑盒 ODE 求解器作为组件的新的深度学习模型,详细先容了它们的性子、演习细节等。ODE 组建利用一个神经网络对隐蔽状态的导数进行参数化,而不再为隐蔽层指定一个离散的序列。神经网络的输出由黑盒微分方程求解器打算。利用该组建可以建立用于韶光序列、监督学习等的新模型。这些模型的评估自适应性的,可以权衡打算的速率和准确度。
图 | 左:一个残差网络定义了一个只能进行有限变换的离散序列。而 ODE 模型则定义了一个矢量场,其状态可以不断进行转换
2、Nearly tight sample complexity bounds for learning mixtures of Gaussians via sample compression schemes(参考译名:通过样本压缩方案学习稠浊高斯模型的近乎紧密的样本繁芜性边界)作者:Hassan Ashtiani, Shai Ben-David , Nicholas J. A. Harvey , Christopher Liaw, Abbas Mehrabian, Yaniv Plan 论文地址:https://papers.nips.cc/paper/7601-nearly-tight-sample-complexity-bounds-for-learning-mixtures-of-gaussians-via-sample-compression-schemes这篇论文的作者来自加拿大的 McMaster 、Waterloo 等顶尖大学。他们证明了在 d 维空间中,当方差间隔小于的情形下,采样对付学习参数为 k 的高斯稠浊模型是充分且必要的。这进一步精确了之前研究得到的该问题的上界和下界。
3、Optimal Algorithms for Non-Smooth Distributed Optimization in Networks(参考译名:网络中非光滑分布式优化的最优算法)作者:Kevin Scaman∗ Francis Bach†Sébastien Bubeck‡ Yin Tat Lee‡ § Laurent Massoulié† 论文地址:https://arxiv.org/abs/1806.00291这篇论文的作者来自华为诺亚方舟实验室、INRIA、微软研究院、华盛顿大学等机构。论文聚焦于包含打算单元的网络的非平滑凸函数的分布优化问题。在两个规律性假设的条件下,作者提出了 MSPD 算法和更大略有效的 DRS 算法。
4、Non-delusional Q-learning and value-iteration(参考译名:非企图Q学习和代价迭代)作者:Tyler Lu,Dale Schuurmans,Craig Boutilier 论文地址:https://papers.nips.cc/paper/8200-non-delusional-q-learning-and-value-iteration这是一篇与强化学习中 Q-learning 干系的论文,来自 GoogleAI。作者通过函数逼近的方法确定了 Q-learning 和其他动态方案模型中基本偏差的基本性来源。当近似模型的框架限定了可表达贪婪策略的种别时,企图偏差就会产生。为理解决这一问题,作者引入了一种新的同等性策略,并证明利用该策略的基于模型和无模型算法都可以肃清企图偏差,在一样平常条件下取得最佳结果。末了,作者还提出了几种针对大规模增强学习问题实用的启示式方法,以减轻企图偏差的影响。
末了,今年的韶光考验奖则颁发给了 2007 年的论文 The Tradeoffs of Large Scale Learning 。韶光考验奖是一篇论文可以得到的最高赞誉之一,解释一篇论文经受住了韶光的磨练,对全体领域产生了重大的影响。这篇论文通过一个理论框架,谈论了近似优化对学习算法的影响。打算机打算能力的飞速发展的同时,我们也步入了大数据时期。机器学习、深度学习的特性使得学习理论必须将打算繁芜度纳入考量。作者在研究中创造,由于演习数量和演习韶光的约束,不同规模学习模型的泛化能力之间存在质的差异。该论文为不同规模模型的细节设计供应了主要的参考。
韶光考验奖The Tradeoffs of Large-Scale Learning(参考译名:大规模学习的权衡)作者:Le ́on Bottou,Olivier Bousquet论文地址:https://papers.nips.cc/paper/3323-the-tradeoffs-of-large-scale-learning.pdf本文系作者个人观点,不代表本站立场,转载请注明出处!