当前位置:主页 > 资料 >

带你深入浅出理解深度学习
栏目分类:资料   发布日期:2018-08-03   浏览次数:

导读:本文为去找网小编(www.7zhao.net)为您推荐的带你深入浅出理解深度学习,希望对您有所帮助,谢谢! 网络中有着丰富的教程,供我们开始接触深度学习。你可以选择从著名的斯坦福 CS22

本文为去找网小编(www.7zhao.net)为您推荐的带你深入浅出理解深度学习,希望对您有所帮助,谢谢! 去找(www.7zhao.net欢迎您



网络中有着丰富的教程,供我们开始接触深度学习。你可以选择从著名的斯坦福 CS221 或者 CS224课程 开始:

内容来自www.7zhao.net

  • CS221: www.7zhao.net

    http://cs231n.stanford.edu/ 内容来自www.7zhao.net

  • CS224: 本文来自去找www.7zhao.net

    http://cs224d.stanford.edu/

    欢迎访问www.7zhao.net

如果你从未接触过这方面的内容,你可以选择 快速AI课程 或者 深度学习AI课程 : copyright www.7zhao.net

  • 快速AI课程: 本文来自去找www.7zhao.net

    http://www.fast.ai/

    欢迎访问www.7zhao.net

  • 深度学习AI课程: www.7zhao.net

    https://www.deeplearning.ai/

    欢迎访问www.7zhao.net

除了深度学习AI课程,其它所有课程都是免费的,你可以在家中舒适地学习。你需要的仅仅是一台好的电脑(最好带有一块Nividia的GPU), 以及你已经准备好向深度学习迈出你的第一步。

欢迎访问www.7zhao.net

本文来自去找www.7zhao.net

然而,本文不是为一个纯新手准备的。当你了解了一些深度学习算法的原理,你可能想要知道这些算法是怎么运作的。尽管深度学习的绝大部分工作(大概是90%的工作,除去10%的的数据)是添加像Conv2d这样的层,调节不同优化策略(如ADAM)的超参数,或者通过在Python中添加一行代码(得益于可用的优秀框架)使用batch norm以及其它一些技巧,很多人可能都很想知道在这之后到底发生了什么。 www.7zhao.net

本文列举的这些资源,在你放置一个conv2d层或者在Theano里调用T.grad的时候,可以帮助你了解到在代码背后发生了什么。 www.7zhao.net

总论

毋庸置疑, 《深度学习》(Deep Learning Book) 这本书是最著名、最为人知的资源:

去找(www.7zhao.net欢迎您

  • Deearning Book: 欢迎访问www.7zhao.net

    http://www.deeplearningbook.org/

    本文来自去找www.7zhao.net

其它比较好的资源还有 Charniak教授的课程和论文 ,可以作为深度学习的技术介绍: 内容来自www.7zhao.net

  • Charniak教授课程:

    内容来自www.7zhao.net

    https://cs.brown.edu/courses/csci1460/assets/files/deep-learning.pdf www.7zhao.net

  • 论文:

    欢迎访问www.7zhao.net

    https://arxiv.org/abs/1709.01412 欢迎访问www.7zhao.net

当你想要从一个具体的角度理解深度学习的话可以参考其它一些资源比较好的资源。比如,下面这个教程是从 应用数学的角度 来攥写的,或者如果你仅仅是 想要开始写代码而不是深入研究理论的 话,可以阅读下面的文章: copyright www.7zhao.net

  • 应用数学角度的教程: copyright www.7zhao.net

    https://arxiv.org/abs/1801.05894

    去找(www.7zhao.net欢迎您

  • 文章链接:

    www.7zhao.net

    https://arxiv.org/abs/1703.05298

    去找(www.7zhao.net欢迎您

还有一个比较推荐的是这个 基于PyTorch的深度学习课程 。这个课程讲解很全面,可以帮助你从一个更加宏观的角度理解:

去找(www.7zhao.net欢迎您

  • 基于PyTorch的深度学习课程: copyright www.7zhao.net

    https://documents.epfl.ch/users/f/fl/fleuret/www/dlc/ www.7zhao.net

反向传播的问题

欢迎访问www.7zhao.net

很多时候,人们不确定“为什么梯度下降和反向传播是同一件事情?”,或者,“到底什么是链式法则以及反向传播?”要了解这些基本问题,我们可以选择阅读 Rumelhart,Hinton和Williams之前写的 关于反向传播的论文 。这篇论文简单易懂: 去找(www.7zhao.net欢迎您

  • Rumelhart,Hinton,Williams关于反向传播的论文:

    欢迎访问www.7zhao.net

    https://web.stanford.edu/class/psych209a/ReadingsByDate/02_06/PDPVolIChapter8.pdf

    本文来自去找www.7zhao.net

除此之外,其它一些非常有用的资源包括 Karpathy的关于反向传播导数的博客 ,以及这段 解释导数反向传播的视频:

本文来自去找www.7zhao.net

  • 博客地址:

    www.7zhao.net

    https://medium.com/@karpathy/yes-you-should-understand-backprop-e2f06eab496b

    copyright www.7zhao.net

  • 视频地址: 欢迎访问www.7zhao.net

    https://www.youtube.com/watch?v=gl3lfL-g5mA 欢迎访问www.7zhao.net

线性代数和其它数学内容

copyright www.7zhao.net

大家都会给某位立志于学习线性代数的人推荐 Strang教授的课程 ,这大概是关于线性代数最好的资源了:

www.7zhao.net

  • 线性代数课程:

    本文来自去找www.7zhao.net

    https://ocw.mit.edu/courses/mathematics/18-06-linear-algebra-spring-2010/ 本文来自去找www.7zhao.net

类似的还有 Boyd教授的运筹学课程copyright www.7zhao.net

  • 运筹学课程: www.7zhao.net

    http://web.stanford.edu/~boyd/cvxbook www.7zhao.net

Calculus on Manifolds的 《Calculus on Manifolds》 这本书是关于向量积分的微积分内容(你可以通过Google搜索“Calculus on Manifolds”找到一份pdf)。但是,一开始学习深度学习的时候,我们不需要深入学习这些内容。另一种方法是快速复习 《深度学习微积分》(Calculus for DeepLearning) 这本书: 去找(www.7zhao.net欢迎您

  • Calculus for DeepLearning:

    内容来自www.7zhao.net

    https://arxiv.org/abs/1802.01528

    欢迎访问www.7zhao.net

这里还有一些关于深度学习的 凸优化内容 的讲座笔记:

内容来自www.7zhao.net

  • 凸优化讲座笔记:

    内容来自www.7zhao.net

    http://people.eecs.berkeley.edu/~elghaoui/Teaching/EE227BT/lectures.html

    去找(www.7zhao.net欢迎您

此外, Sebastian Reuder的论文 也是比较好的资源,同时我也喜欢用下面的笔记来理解 tensors的导数

copyright www.7zhao.net

  • Sebastian Reuder论文:

    内容来自www.7zhao.net

    https://arxiv.org/abs/1609.04747 www.7zhao.net

  • tensors导数笔记:

    www.7zhao.net

    https://github.com/mtomassoli/tensor-differential-calculus/blob/master/tensor_diff_calc.pdf copyright www.7zhao.net

自动求导和深度学习库

本文来自去找www.7zhao.net

在你做深度学习项目的时候,不必非要了解自动计算导数。大多数框架,像Torch,Theano或者Tensorflow会帮你自动运算好。通常来说,你甚至不需要知道怎样进行导数运算。也就是说,如果你一定要弄清楚深度学习框架是怎样工作的,你可能想在下面这篇文章中 理解自动求导是如何实现的

去找(www.7zhao.net欢迎您

  • 文章链接:

    copyright www.7zhao.net

    https://arxiv.org/abs/1502.05767 www.7zhao.net

其它比较好的用来 理解深度学习库功能实现 的资源可以在下面的博客和视频中找到: 去找(www.7zhao.net欢迎您

  • 博客链接:

    本文来自去找www.7zhao.net

    http://blog.christianperone.com/2018/03/pytorch-internal-architecture-tour

    欢迎访问www.7zhao.net

  • 视频链接:

    欢迎访问www.7zhao.net

    https://www.youtube.com/watch?v=Lo1rXJdAJ7w

    欢迎访问www.7zhao.net

卷积神经网络

本文来自去找www.7zhao.net

在你学习了一些如何使用基本convents的课程后,你可能需要去理解卷积是如何在图像上工作的。“输入应用某种类型的卷积后,输出的维度是多少?”“stride是如何影响卷积的?”“Batch正则化是什么?”“对于这类应用问题,我看到过的最好的资源是 下面的教程Ian Goodfellow的演讲

欢迎访问www.7zhao.net

  • 教程链接: 欢迎访问www.7zhao.net

    https://arxiv.org/abs/1603.07285

    copyright www.7zhao.net

  • Ian Goodfellow演讲视频: copyright www.7zhao.net

    https://www.youtube.com/watch?v=Xogn6veSyxA 内容来自www.7zhao.net

如果你想得到一个好点子的话,下面链接中 关于Convenets的评论 更加全面,另外这篇 关于物体检测的总结 也是比较好的资源: 本文来自去找www.7zhao.net

  • 关于Convenets的评论:

    内容来自www.7zhao.net

    https://arxiv.org/abs/1803.08834 欢迎访问www.7zhao.net

  • 关于物体检测的总结:

    去找(www.7zhao.net欢迎您

    https://arxiv.org/abs/1803.08834

    去找(www.7zhao.net欢迎您

自然语言处理中的深度学习

本文来自去找www.7zhao.net

我在前文中提出的Stanford 224课程是一个非常好的起点,可以基本让你了解关于自然语言处理中深度学习的方方面面。这里还有一个 Graham Neubig(他使用dynet)发布在YouTube上的课程 内容来自www.7zhao.net

  • Graham Neubig发布的课程:

    欢迎访问www.7zhao.net

    https://www.youtube.com/watch?v=Sss2EA4hhBQ 欢迎访问www.7zhao.net

还有一本你可能喜欢的 Yoav Goldberg编写的NLPbook 以及这本书编写之后的 NLP上新的研究进展的回顾

www.7zhao.net

  • NLPbook:

    copyright www.7zhao.net

    https://u.cs.biu.ac.il/~yogo/nnlp.pdf 内容来自www.7zhao.net

  • NLP上新进展回顾: 欢迎访问www.7zhao.net

    https://arxiv.org/abs/1708.02709

    欢迎访问www.7zhao.net

关于 是否在文字上使用ConvNets或者 RNNs(LSTM/GRUs ,也是一个非常普遍的问题,这里有一个不错的概述:

copyright www.7zhao.net

  • 概述:

    去找(www.7zhao.net欢迎您

    https://arxiv.org/pdf/1803.01271.pdf 内容来自www.7zhao.net

强化学习

内容来自www.7zhao.net

Sutton和Barto所写的《强化学习》(Reinforcement Learning)这本书是开始学习这些方法的不错途径。这本书是免费的,可以在下面链接中获取: copyright www.7zhao.net

  • Reinforcement Learning:

    copyright www.7zhao.net

    http://incompleteideas.net/book/the-book-2nd.html 本文来自去找www.7zhao.net

这里还有一篇 关于最新的深度强化学习方法的综述 以及一个 关于强化学习的非常有趣的教程

www.7zhao.net

  • 深度强化学习方法综述: www.7zhao.net

    https://arxiv.org/abs/1708.05866 www.7zhao.net

  • 强化学习教程: 去找(www.7zhao.net欢迎您

    https://hackernoon.com/intuitive-rl-intro-to-advantage-actor-critic-a2c-4ff545978752 欢迎访问www.7zhao.net

这里有一篇 关于MCTS (Monte CarloTree Search)的综述 (除了深度强化学习技巧外,Deepmind使用其作为AlphaGo算法的一部分),但是我喜欢用这个 快速教程 来学习它们: 欢迎访问www.7zhao.net

  • MCTS综述: copyright www.7zhao.net

    http://mcts.ai/pubs/mcts-survey-master.pdf www.7zhao.net

  • 快速教程:

    欢迎访问www.7zhao.net

    http://jeffbradberry.com/posts/2015/09/intro-to-monte-carlo-tree-search/?utm_source=top.caibaojian.com/19271

    copyright www.7zhao.net

其它一些好的综述/教程

在ICLR 2016上,Goodfellow给出过一篇 关于GANs(生成对抗网络)广义上生成模型 的教程,可以在下面链接中找到: 本文来自去找www.7zhao.net

  • 教程链接: 去找(www.7zhao.net欢迎您

    https://www.youtube.com/watch?v=HGYYEUSm-0Q copyright www.7zhao.net

神经网络可以用来做艺术迁移(例如Prisma app),可以在这里找到一篇关于 如何做这个任务的 详细的调查本文来自去找www.7zhao.net

  • 神经网络应用于艺术迁移:

    本文来自去找www.7zhao.net

    https://arxiv.org/abs/1705.04058

    内容来自www.7zhao.net

另一篇关于Reuder写的关于 多任务学习 的研究(用同一个神经网络结合多个任务)在这里: www.7zhao.net

  • 关于多任务学习的研究:

    copyright www.7zhao.net

    https://arxiv.org/abs/1706.05098 欢迎访问www.7zhao.net

评论

尽管深度学习在许多问题上效果很好,我们知道永远有它还无法解决的问题。一些值得阅读的好评论有 Shalev-Shwartz等人写的 Failures of Gradient-Based Deep Learning:

去找(www.7zhao.net欢迎您

  • Failures of Gradient-Based Deep Learning: 欢迎访问www.7zhao.net

    https://arxiv.org/abs/1703.07950

    内容来自www.7zhao.net

这个Hinton的讲座列举了 ConvNets的难点为什么ConvNets不能解释训练集图片的负面影响: 内容来自www.7zhao.net

  • ConvNets的难点: copyright www.7zhao.net

    https://www.youtube.com/watch?v=rTawFwUvnLE

    copyright www.7zhao.net

  • ConvNets不能解释训练集图片的原因: www.7zhao.net

    https://arxiv.org/pdf/1703.06857.pdf 内容来自www.7zhao.net

下面是前段时间的 另一个评论 以及一篇 关于 滥用深度学习的全面报告欢迎访问www.7zhao.net

  • 评论链接: copyright www.7zhao.net

    https://arxiv.org/abs/1801.00631

    内容来自www.7zhao.net

  • 关于滥用深度学习的全面报告: 内容来自www.7zhao.net

    https://arxiv.org/abs/1802.07228

    www.7zhao.net

对抗样本

这是一个巨大领域,可以制造欺骗卷积神经网络的人造或真实的数据。我本可将这一节放在评论里,但我没有这样做,原因是: 欢迎访问www.7zhao.net

1. 它们并不是所有应用的都需要面对的技术挑战。

2. 我在这方面不是非常精通。能够使人接触这个话题并引起兴趣的例子在下面这篇文章里,他们生成“对抗物体”来欺骗神经网络:

本文来自去找www.7zhao.net

  • 文章链接: 内容来自www.7zhao.net

    https://arxiv.org/abs/1703.05298 去找(www.7zhao.net欢迎您

为了成为一位数据科学家,你还可以在下面链接中阅读关于机器学习算法的例子: copyright www.7zhao.net

  • 机器学习算法例子: 内容来自www.7zhao.net

    https://blog.paralleldots.com/data-science/machine-learning/ten-machine-learning-algorithms-know-become-data-scientist/

    去找(www.7zhao.net欢迎您

本文来自去找www.7zhao.net


本文原文地址:https://www.jiqizhixin.com/articles/2018-08-03-10

以上为带你深入浅出理解深度学习文章的全部内容,若您也有好的文章,欢迎与我们分享!

欢迎访问www.7zhao.net

Copyright ©2008-2017去找网版权所有   皖ICP备12002049号-2 皖公网安备 34088102000435号   关于我们|联系我们| 免责声明|友情链接|网站地图|手机版