什么是深度学习
参考资料
- 深度学习-百度百科/维基百科
- 一文看懂深度学习(白话解释+8个优缺点+4个典型算法)
- 什么是深度学习
- deep learning笔记:端到端学习
各种解释
维基百科
深度学习(英语:deep learning)是机器学习的分支,是一种以人工神经网路为架构,对资料进行表征学习的算法。
深度学习是机器学习中一种基于对数据进行表征学习的算法。观测值(例如一幅图像)可以使用多种方式来表示,如每个像素强度值的向量,或者更抽象地表示成一系列边、特定形状的区域等。而使用某些特定的表示方法更容易从实例中学习任务(例如,人脸识别或面部表情识别)。深度学习的好处是用非监督式或半监督式(英语:Semi-supervised learning)的特征学习和分层特征提取高效算法来替代手工获取特征。
百度百科
深度学习的概念源于人工神经网络的研究,含多个隐藏层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征,以发现数据的分布式特征表示。
深度学习是一类模式分析方法的统称。通过多层处理,逐渐将初始的“低层”特征表示转化为“高层”特征表示后,用“简单模型”即可完成复杂的分类等学习任务。由此可将深度学习理解为进行“特征学习”(feature learning)或“表示学习”(representation learning)。
其他
与机器学习的关系
以往在机器学习用于现实任务时,描述样本的特征通常需由人类专家来设计,这成为“特征工程”(feature engineering)。众所周知,特征的好坏对泛化性能有至关重要的影响,人类专家设计出好特征也并非易事;特征学习(表征学习)则通过机器学习技术自身来产生好特征,这使机器学习向“全自动数据分析”又前进了一步。与传统的学习方法相比,深度学习方法预设了更多的模型参数,因此模型训练难度更大,根据统计学习的一般规律知道,模型参数越多,需要参与训练的数据量也越大。
深度学习中的“深度”一词通常是指神经网络中的隐藏层数。传统神经网络只包含 2 到 3 个隐藏层,而深度网络可能包含多达 150 个隐藏层。
区别于传统的浅层学习,深度学习的不同在于:
强调了模型结构的深度,通常有5层、6层,甚至10多层的隐层节点;
明确了特征学习的重要性。也就是说,通过逐层特征变换,将样本在原空间的特征表示变换到一个新特征空间,从而使分类或预测更容易。与人工规则构造特征的方法相比,利用大数据来学习特征,更能够刻画数据丰富的内在信息。
深度学习模型可以达到最先进的精确度,有时甚至超出人类的表现。该模型通过使用大量的标签化数据以及包含许多层的神经网络架构得到训练。
机器学习工作流程起始于从图像手动提取的相关特征。然后使用这些特征创建对图像中的对象进行分类的模型。在深度学习工作流程中,自动从图像提取相关特征。此外,深度学习还执行“端到端学习”,即为网络提供原始数据和分配要执行的任务(如分类),而神经网络学习如何自动执行此操作。
端到端学习(end-to-end learning)
传统机器学习的流程往往由多个独立的模块组成,比如在一个典型的自然语言处理(Natural Language Processing)问题中,包括分词、词性标注、句法分析、语义分析等多个独立步骤,每个步骤是一个独立的任务,其结果的好坏会影响到下一步骤,从而影响整个训练的结果,这就是非端到端的。
而深度学习模型在训练过程中,从输入端(输入数据)到输出端得到一个预测结果,该结果与真实结果相比较会得到一个误差,这个误差将用于模型每一层的调整(比如反向传播),这种训练直到模型收敛或达到预期的效果才结束,这就是端到端(end-to-end)的。
相比传统方法每一个模块都有较为明确的输出,端到端的深度学习更像是一个神秘的整体。通俗的说,端到端的深度学习能够让“数据说话”。不过这种方法是很吃数据的,因此还不至于在每个领域都胜过甚至代替传统的机器学习方法。相比之下,端到端学习省去了每一步中间的数据处理和每一步模型的设计(这往往会涉及相当多的专业知识),但是端到端学习也有两个重要的缺点:
- 需要大量的数据
- 可能排除有用的人工设计
另一个主要区别是深度学习算法会随数据发散,而浅层学习则会收敛。浅层学习是指当您向网络添加更多示例和训练数据时,在一定性能水平上趋于稳定的机器学习方法。
深度学习网络的一个主要优势在于,随着数据量增加,它们经常会持续改进。