《深度学习》读书笔记-深度学习的历史趋势

  1. 深度学习让计算机通过较简单的概念构建复杂的概念。深度学习的典型例子是前馈深度网络多层感知机(multilayer perceptron, MLP)。

  2. 深度学习模型的示意图,将所需的复杂映射分解为一系列嵌套的简单映射(每个由模型的不同层描述)。

img

图1 深度学习模型的示意图

  1. 一般认为,迄今为止深度学习已经经历了三次发展浪潮

    • 20世纪40年代到60年代深度学习的雏形出现在控制论(cybernetics)中,关键概念:感知机
    • 20世纪80年代到90年代深度学习表现为联结主义(connectionism), 关键概念:分布式表示反向传播
    • 直到2006年,才真正以深度学习之名复兴,关键概念:“贪婪逐层预训练”

    第一次浪潮开始于20世纪40年代到20世纪60年代的控制论,随着生物学习理论的发展(McCulloch and Pitts,1943; Hebb, 1949)和第一个模型的实现(如感知机(Rosenblatt, 1958)),能实现单个神经元的训练;
    第二次浪潮开始于1980-1995年间的联结主义方法,可以使用反向传播(Rumelhart et al.,1986a)训练具有一两个隐藏层的神经网络;
    当前第三次浪潮,也就是深度学习,大约始于2006 年(Hinton et al., 2006a; Bengio et al., 2007a; Ranzato et al., 2007a)。

  2. 虽然目前更多的兴趣点仍是比较传统的监督学习算法和深度模型充分利用大型标注数据集的能力,但第三次浪潮已开始着眼于新的无监督学习技术和深度模型在小数据集的泛化能力,为此我们应特别侧重于如何通过无监督或半监督学习充分利用大量的未标注样本

  3. 日益增加的复杂性已将深度学习推向其逻辑理论,即神经图灵机(Graves et al.,2014)的引入,它能学习读取存储单元和向存储单元写入任意内容。这样的神经网络可以从期望行为的样本中学习简单的程序。例如,从杂乱和排好序的样本中学习对一系列数进行排序。这种自我编程技术正处于起步阶段,但原则上未来可以适用于几乎所有的任务。

  4. 深度学习的另一个最大的成就是其在强化学习(reinforcement learning)领域的扩展。在强化学习中,一个自主的智能体必须在没有人类操作者指导的情况下,通过试错来学习执行任务。DeepMind 表明,基于深度学习的强化学习系统能够学会玩Atari视频游戏,并在多种任务中可与人类匹敌(Mnih et al., 2015)。深度学习也显著改善了机器人强化学习的性能(Finn et al., 2015)。

-------------本文结束感谢您的阅读-------------

本文标题:《深度学习》读书笔记-深度学习的历史趋势

文章作者:丁鹏

发布时间:2017年12月04日 - 20:12

最后更新:2019年07月01日 - 22:07

原始链接:http://deepon.me/2017/12/04/《深度学习》读书笔记-深度学习的历史趋势/

许可协议: 署名-非商业性使用-禁止演绎 4.0 国际 转载请保留原文链接及作者。

给博主投币,共同实现开源世界
0%