
“深度学习”是一个多层网络结构,
和人脑的认知结构类似,可以进行计算和学习。
在现实生活中,人类往往可以凭借直觉解决很多问题。比如,看到这张照片,你立刻就会知道这张图里边有一只猫和一只狗。
这是理所当然的事情,但是深究下去,你怎么知道你看到的是一只猫和一只狗,而不是两只猫或者两只狗呢?
既然从图片中一眼就能区分出来,那我们就试着来描述一下猫和狗各自的外观特点吧。
以上面这张图为例,我们可以这样形容猫的形态特征:有非常圆的头部,面颊宽大,耳根宽广、耳廓深、位于尖端的部分比较圆滑,眼睛圆,毛短、整齐光滑……
至于上图中这只狗的外观,则可以这样形容:脑袋平而宽,耳朵小而薄,耳尖稍圆,深色杏眼,毛发较短……
仔细对比一下,“毛发较短”、“面颊宽大”、“耳朵尖端比较圆”这些词汇往往在猫和狗身上同样适用,而毛发短、耳朵圆的程度也没办法用一个具体的数字来衡量。
当我们试图使用像“深色杏眼”这样更具体的描述时,新的问题又出现了:不是所有品种的狗都具备这样的特点,但我们还是能够一眼认出它们来。
总之,我们很难用几个词或几句话精准地把猫和狗区分开来,但往往凭着直觉,就快速而准确地解决了这个问题。
为了让计算机解决这些看上去比较直观,但又很难用具体的语言或是数学规则来形容的问题。科学家们讨论出了一种解决方案——深度学习。
深度学习就是让计算机模拟人类的认知过程,从经验中学习(也就是所谓的直觉)。让计算机像人一样,根据层次化的概念体系来理解世界,而每个概念则通过与某些相对简单的概念之间的关系来定义(构建较简单的概念来学习复杂概念)。如果绘制出表示这些概念如何建立在彼此之上的图,我们将得到一张“深”(层次很多)的图。基于这个原因,我们称这种方法为深度学习。
深度学习有着悠久而丰富的历史,随着可用的训练数据量不断增加、计算机软硬件的不断改善,深度学习模型的规模也随之增长,用来解决日益复杂的应用问题,并且精度不断提高。目前,在著名的ImageNet竞赛上,识别约1000类物体的准确率已经超过了95%!以下是对几个主流深度学习模型的简单介绍,并附上其主要的应用领域,供大家根据自己的应用需求加以选择并深入学习。
卷积神经网络是指那些至少在网络的一层中使用卷积(一种特殊的线性运算)来替代一般的矩阵乘法运算的神经网络。它是一种专门用来处理具有类似网格结构的数据(例如,图像可看作为二维的像素网格)的神经网络。卷积神经网络可以很容易地扩展到具有很大宽度和高度的图像,以及处理大小可变的图像。
卷积神经网络是将研究大脑获得的深刻理解成功用于机器学习应用的关键例子,也是第一个解决重要商业应用的神经网络,在诸多应用领域都表现优异。当前对深度学习的商业兴趣的热度始于Krizhevsky et al.赢得了ImageNet对象识别挑战,但是在那之前,卷积网络也已经被用于赢得前些年影响较小的其他机器学习和计算机视觉竞赛了。
经典模型:
经典应用:
循环神经网络是一类用于处理序列数据的神经网络,能以很高的效率对序列的非线性特征进行学习 。它可以扩展到更长的序列(比不基于序列的特化网络长得多),大多数循环神经网络也能处理可变长度的序列。
递归神经网络代表循环神经网络的另一个扩展,它被构造为深的树状结构而不是循环神经网络的链状结构,是不同类型的计算图。递归神经网络的每个父节点都仅与一个子节点连接时,其结构等价于全连接的循环神经网络。递归神经网络的潜在用途是学习推论,已成功地应用于输入是数据结构的神经网络,如自然语言处理和计算机视觉。
经典模型:
典型应用:
自编码器是神经网络的一种,经过训练后能尝试将输入复制到输出。自编码器内部有一个隐藏层h,可以产生编码表示输入。该网络可以看作由两部分组成:一个由函数h=f(x)表示的编码器和一个生成重构的解码器r=g(h)。通常,我们不会将自编码器设计成输入到输出完全相等,而是向自编码器强加一些约束,使它只能近似复制,并只能复制与训练数据相似的输入,这些约束强制模型考虑输入数据的哪些部分需要被优先复制,因此它往往能学习到数据的有用特性。
扩展模型:
典型应用:
生成式对抗网络是基于可微生成器网络的一种生成式建模方法,要解决的问题是如何从训练样本中学习出新样本。生成式对抗网络基于博弈论场景,其中生成器必须与对手(判别器)竞争。生成器网络直接产生样本x,而判别器网络则试图区分从训练数据抽取的样本和从生成器抽取的样本,判别器发出概率值,指示x是真实训练样本而不是从模型抽取的伪造样本的概率。
变种模型:
典型应用:
……
深度学习是当前人工智能时代中最主流的方法,被许多顶级的技术公司使用,包括 Google、Microsoft、Facebook、IBM、Baidu、Apple、Adobe、Netflix、NVIDIA 和 NEC 等。深度学习在商业应用上也取得了巨大的成功,语音助手、刷脸支付、自动翻译器等应用借助深度学习方法实现了更加准确的识别效果。
想要更系统更深入地学习深度学习,可以去阅读《深度学习》和《动手学深度学习》这两本书。
这本书由全球知名的三位专家Ian Goodfellow、Yoshua Bengio和Aaron Courville撰写,Ian Goodfellow是生成式对抗网络的发明者。这本书也是深度学习领域奠基性的经典教材,被誉为“AI圣经”。
这本书是亚马逊 MXNet 零基础深度学习课程的重要组成部分,推荐大家使用 Apache MXNet 的前端工具 Gluon 进行开发。这本书能够指导你在动手实践的过程中学会使用简单易读的代码,写出产品级的应用。值得一提的是,该书以 Jupyter 记事本的形式呈现,读者可以操作其中的代码和超参数来获取及时反馈,以此提高学习效率。
参考资料:
[1] 《深度学习》,作者:[美]伊恩·古德费洛 [加]约书亚·本吉奥 [加] 亚伦·库维尔,译者:赵申剑 黎彧君 符天凡 李凯,审校:张志华等
[2]《神经网络与深度学习》,作者:邱锡鹏
[3] 《图解深度学习》,作者:[日] 山下隆义,译者:张弥
更多深度学习知识可关注 @人民邮电出版社,我们会持续推出计算机优质图书资源。
