当前位置:[首页 > 资源下载 > 【资源】深度学习 Top100:近 5 年被引用次数最高]

【资源】深度学习 Top100:近 5 年被引用次数最高

发布: 2017-12-15 15:49 | 来源:www.jptranslate.com | 查 看:

【新智元导读】这里是近5年100篇被引用次数最多的深度学习论文,覆盖了优化/训练方法、无监督/生成模型、卷积网络模型和图像分割/目标检测等十大子领域。重要的论文能够超越其应用领域让人获益。新智元在每个领域都选择了一篇论文重点介绍,这将是你纵览深度学习研究绝好的开始。【进入新智元公众号,在对话框输入“论文100”下载这份经典资料】

这里是100篇被引用次数最多的深度学习论文,从海量的相关论文中脱颖而出。无论其应用领域是什么,都值得一读,而在其各自的领域,它们是必读之作。

此前已经有一些很棒的深度学习论文的榜单了,比如说Deep Vision和Awesome Recurrent Neural Networks。而在我们这份list诞生之后,另一份面对深度学习初学者的榜单Deep Learning Papers Reading Roadmap也问世并得到了许多深度学习研究者的喜爱。

虽然这份Roadmap List囊括了许多重要的深度学习论文,对我来说还是有些太多了。正如我在导读中所说,我相信重要的论文能够超越其应用领域,让我们获益。因此,作为纵览深度学习研究的开始,我向大家推荐这100篇深度学习论文。

收录标准:

收录2012—2016年发表的Top100深度学习论文;

当list里增加一篇论文时,一般来说,我们会从“2016年的更多论文”里去掉一篇,以保证总数为100篇;

重要而未列入list的论文,会收入“100篇之外”;

最近6个月内发表的论文,或是2012年以前的论文,收入到“最新论文”或“老论文”中。

引用次数标准:

< 6个月 : 新论文(讨论决定)

2016 : +60 引用 或 "2016年的更多论文"

2015 : +200 引用

2014 : +400 引用

2013 : +600 引用

2012 : +800 引用

~2012 : 老论文(讨论决定)

比起某一应用领域内的论文,我们更倾向于选择适用于多个研究领域的开创性深度学习论文。基于此,有些达到了收录标准的论文可能没有被收入,而有些论文则相反。这取决于论文的影响力以及其对其他研究的适用性,等等。

目录

理解/概括/传递

优化/训练方法

无监督/生成模型

卷积网络模型

图像分割/目标检测

图像/视频/其他

递归神经网络模型

自然语言处理

语音/其他领域

强化学习

2016年的更多论文

(100篇之外)

新论文:最近6个月以内的

老论文:2012年以前的

HW/SW/数据集:技术报告

专著/调查报告/回顾

附录:

未收录的其他优秀论文

理解/概括/传递

在神经网络中提取知识

Distilling the knowledge in a neural network (2015)

作者 G. Hinton et al.

摘要:一个很简单的能改善几乎所有机器学习算法表现的办法,就是训练许多基于相同数据集的模型,并取这些模型的预测平均值。问题是,使用全部模型来进行预测是个笨办法,且允许大量用户部署的计算成本过于昂贵,特别是当个体模型是大规模神经网络时。Caruana和他的合作者已经论证,有可能将一个集合中的知识压缩到一个单独模型中,部署起来也容易得多,而且我们使用了不同压缩技巧进一步扩展了这一方法。在MNIST上,我们取得了一些令人吃惊的成功,并展示了可以显著改善一个重度使用商业系统的声学模型,方法就是将集合中的知识概括进一个单独模型。我们也介绍了一个新型集合,由一个或更多的全模型以及许多学会了区分识别细粒度类别(全模型做不到)的专家模型组成,可以对这些专家模型进行快速、并行训练。

深度神经网络容易被骗:高信度预测无法识别的图片

Deep neural networks are easily fooled: High confidence predictions for unrecognizable images (2015)

作者A. Nguyen et al.

深度神经网络特征的可迁移性如何?

How transferable are features in deep neural networks? (2014)

作者J. Yosinski et al.

卷积神经网络现成的一些特性,对识别来说是令人惊奇的起点

CNN features off-the-Shelf: An astounding baseline for recognition (2014)

作者 A. Razavian et al.

使用卷积神经网络学习和迁移中层图像表征

Learning and transferring mid-Level image representations using convolutional neural networks (2014)

作者M. Oquab et al.

卷积网络的可视化和理解

Visualizing and understanding convolutional networks (2014)

作者 M. Zeiler and R. Fergus

DeCAF:一个应用于通用视觉识别的深度卷积激活特征

Decaf: A deep convolutional activation feature for generic visual recognition (2014)

作者 J. Donahue et al.

优化/训练方法

Batch normalization算法:通过减少内部协变量转化加速深度网络的训练

Batch normalization: Accelerating deep network training by reducing internal covariate shift (2015)

作者S. Loffe and C. Szegedy