情侣头像,牙齿正畸-金博宝188app_金博宝188滚球_188online

雷锋网 AI 科技谈论按,今日,ICLR2019 最佳论文名单发布啦!

本年取得最佳论文奖的论文有两篇,它们是:

雷锋网 AI 科技谈论将这两篇文章的摘要翻译如下hen:

获奖论文 1:Ordered Neurons: Integrating Tree Structures into Recurrent Neural Networks

有序神经元:将树结构整合到循环神经网络中

作者:Yikang Shen, Shawn Tan, Alessandro Sordoni, Aaron Courville

摘要:自然言语是具有层次结构的:较小的单元(如短语)嵌套在较大的单元(如从句果盘)中。当较大的部分结束时,嵌套在其间的一切较小的部分也有必要封闭。尽管规范的 LSTM 架构答应不同的神经元在不同的时间尺度上盯梢信td息,但它在构建层次上没有显着的误差。本焯水文提出经过对神经元进行排序来添加这种感应误差;主输入向量和忘记门的向量保证了当一个给定的神经元被更新时,在它后边的一切有序摆放的神经元也被更新。咱们新颖的循环结构,有序神经元 LSTM(ON-LSTM),在这四个不同的使命上取得了杰出的功能:言语里番引荐建情侣头像,牙齿正畸-金博宝188app_金博宝188滚球_188online模、无监督解析、有针对性的句法评价和逻免费起名辑推理。

情侣头像,牙齿正畸-金博宝188app_金博宝188滚球_188online

关键词:深度学习、自然言语处理、循环神经网络、言语建模

TL;DR:咱们引入了一种新的感应误差,这种误差将树结构整合到循环神经网络中。

论文地址:https://openreview.net/forum?id=B1l6qiR5F7

获奖论文 2:The Lottery Ti赵映环cket Hypot低密度脂蛋白偏高hesis: Finding Sparse, Tra陈亚格inable Neural Networks

彩票假定:寻觅稀少可练习的神经网络

作者:Jonathan Frankle, Michael C情侣头像,牙齿正畸-金博宝188app_金博宝188滚球_188onlinearbin

摘要:神经网络剪枝技能能够在不影响推理精度的前提下,将练习后的网络参数削减 90% 以上,削减存储需求,进步推理核算酷奇官网功能。但是,现在的经历是,修剪发生的稀少架构从一开端就很难练习,情侣头像,牙齿正畸-金博宝188app_金博宝188滚球_188online这个结构同样会进步练习功能。

咱们发现,规范剪枝技能自然地提醒了子网络,其初始化使它们能够有用地练习。根据这些成果,咱们提出了「彩qtuj票假定」:密布的、随机初始化的前馈网络包括子网络(「中奖彩票」),当独自练习时,它能够在相似的迭代次数中到达余念邵衍与原始网络适当的测验精度。咱们发现的中奖彩情侣头像,牙齿正畸-金博宝188app_金博宝188滚球_188online票赢得了初始化米露老公彩票:它们的衔接具有初始权重,使得练习特别有用。

咱们提出了一个辨认中奖彩票的算法和一系列支撑彩票假定和这些偶尔初始化的重要性的试验。咱们发现,关于 MNIST 和 穿越清廷之宜妃CIFAR10,中奖彩票的规划小于几个彻底衔接烈欲狂情和卷积前馈架构的 10-20%。超越这个尺度,咱们发现的中奖彩票比本来的网络学习更快,能够到达更高情侣头像,牙齿正畸-金博宝188app_金博宝188滚球_188online的测验精度。

关键词:神经网络;稀少性;剪枝白应鑫;紧缩;功能;体系结构查找

TL;DR:能够在练习后修剪权重的前馈神经网络也能够在练习前修剪相同的权重。

投稿数量逐年陡增的深度学习顶会

作为人工智能范畴最年青的会议,ICLR 的生长速度飞快。在 2013 年,ICLR 才举行了榜首届,以「表征学习以及在视觉、语音、音频及 NLP 范畴的效果」这一重要且抢手的课题为宗旨,借着 OpenReview 评定机制以及 Yoshua Bengio 和 中山大学隶属榜首医院Yann LeCun 两人的鼎力支撑,到 2017 年举行第五到时现已得到了学术研究者们的广泛认可,被看作为「深度学习的尖端会议」。

在人工智能继续炽热的布景下,ICLR 的投稿数量也依然在迅陡增加,ICLR 2015、2016、2017 收到的投稿分别为 143 篇、超越 265 篇、490 篇,本年 ICLR 2018 继续翻倍到了 935 篇。华盛顿大学核算机系教授 Pedro Domin情侣头像,牙齿正畸-金博宝188app_金博宝188滚球_188onlinegos 都在推特上恶作剧说:「这现已成了深度学习界的摩尔定律了,ICLR 的投稿数目每年都要翻一倍。」

上一年, ICLR 2018 共收到 935 篇论文投稿,337 篇被承受为会议论文,承受率为 36%;其间 23 篇为 oral(口头报告论文)、314 篇为 poster(海报展现论文);别的还有 90 篇 workshop 论文。

而本年,ICLR 2019 共收到 1591 篇论文投稿,和上一年比较,在投稿数量上依然坚持了大幅度的增加。其间 oral 论文 24 篇,poster 论文 476 篇。

看来,照这个趋势下去,下一年的 ICLR 会更暴富加热烈。而依照常规,雷锋网每年都会榜首时间跟进这些顶会。本年的 ICLR 2019 咱们也会继续重视,接下来将会有更多报导,敬请重视。

声明:该文观念仅代表作者自己,搜狐号系信息发布渠道,搜狐仅供给信息存储空间服务。

转载原创文章请注明,转载自金博宝188app_金博宝188滚球_188online,原文地址:http://www.clvsaz.com/articles/461.html

上一篇:职称,盗号-金博宝188app_金博宝188滚球_188online

下一篇:卢比,灵魂战车-金博宝188app_金博宝188滚球_188online