深度学习与神经网络关系2017-01-10最近开始学习深度学习，基本上都是zouxy09博主的文章，写的蛮好，很全面，也会根据自己的思路，做下删减，细化。
五、DeepLearning的基本思想假设我们有一个系统S，它有n层（S1,…Sn），它的输入是I，输出是O，形象地表示为：I=>S1=>S2=>…..=>Sn=>O，如果输出O等于输入I，即输入I经过这个系统变化之后没有任何的信息损失（呵呵，大牛说，这是不可能的。
信息论中有个“信息逐层丢失”的说法（信息处理不等式），设处理a信息得到b，再对b处理得到c，那么可以证明：a和c的互信息不会超过a和b的互信息。这表明信息处理不会增加信息，大部分处理会丢失信息。
当然了，如果丢掉的是没用的信息那多好啊），保持了不变，这意味着输入I经过每一层Si都没有任何的信息损失，即在任何一层Si，它都是原有信息（即输入I）的另外一种表示。
现在回到我们的主题DeepLearning，我们需要自动地学习特征，假设我们有一堆输入I（如一堆图像或者文本），假设我们设计了一个系统S（有n层），我们通过调整系统中参数，使得它的输出仍然是输入I，那么我们就可以自动地获取得到输入I的一系列层次特征，即S1，…,Sn。
对于深度学习来说，其思想就是对堆叠多个层，也就是说这一层的输出作为下一层的输入。通过这种方式，就可以实现对输入信息进行分级表达了。
另外，前面是假设输出严格地等于输入，这个限制太严格，我们可以略微地放松这个限制，例如我们只要使得输入与输出的差别尽可能地小即可，这个放松会导致另外一类不同的DeepLearning方法。
上述就是DeepLearning的基本思想。六、浅层学习（ShallowLearning）和深度学习（DeepLearning）浅层学习是机器学习的第一次浪潮。
20世纪80年代末期，用于人工神经网络的反向传播算法（也叫BackPropagation算法或者BP算法）的发明，给机器学习带来了希望，掀起了基于统计模型的机器学习热潮。这个热潮一直持续到今天。
人们发现，利用BP算法可以让一个人工神经网络模型从大量训练样本中学习统计规律，从而对未知事件做预测。这种基于统计的机器学习方法比起过去基于人工规则的系统，在很多方面显出优越性。
这个时候的人工神经网络，虽也被称作多层感知机（Multi-layerPerceptron），但实际是种只含有一层隐层节点的浅层模型。
20世纪90年代，各种各样的浅层机器学习模型相继被提出，例如支撑向量机（SVM，SupportVectorMachines）、Boosting、最大熵方法（如LR，LogisticRegression）等。
这些模型的结构基本上可以看成带有一层隐层节点（如SVM、Boosting），或没有隐层节点（如LR）。这些模型无论是在理论分析还是应用中都获得了巨大的成功。
相比之下，由于理论分析的难度大，训练方法又需要很多经验和技巧，这个时期浅层人工神经网络反而相对沉寂。深度学习是机器学习的第二次浪潮。
2006年，加拿大多伦多大学教授、机器学习领域的泰斗GeoffreyHinton和他的学生RuslanSalakhutdinov在《科学》上发表了一篇文章，开启了深度学习在学术界和工业界的浪潮。
这篇文章有两个主要观点：1）多隐层的人工神经网络具有优异的特征学习能力，学习得到的特征对数据有更本质的刻画，从而有利于可视化或分类；2）深度神经网络在训练上的难度，可以通过“逐层初始化”（layer-wisepre-training）来有效克服，在这篇文章中，逐层初始化是通过无监督学习实现的。
当前多数分类、回归等学习方法为浅层结构算法，其局限性在于有限样本和计算单元情况下对复杂函数的表示能力有限，针对复杂分类问题其泛化能力受到一定制约。
深度学习可通过学习一种深层非线性网络结构，实现复杂函数逼近，表征输入数据分布式表示，并展现了强大的从少数样本集中学习数据集本质特征的能力。
（多层的好处是可以用较少的参数表示复杂的函数）深度学习的实质，是通过构建具有很多隐层的机器学习模型和海量的训练数据，来学习更有用的特征，从而最终提升分类或预测的准确性。
因此，“深度模型”是手段，“特征学习”是目的。
区别于传统的浅层学习，深度学习的不同在于：1）强调了模型结构的深度，通常有5层、6层，甚至10多层的隐层节点；2）明确突出了特征学习的重要性，也就是说，通过逐层特征变换，将样本在原空间的特征表示变换到一个新特征空间，从而使分类或预测更加容易。
与人工规则构造特征的方法相比，利用大数据来学习特征，更能够刻画数据的丰富内在信息。
七、Deeplearning与NeuralNetwork深度学习是机器学习研究中的一个新的领域，其动机在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如图像，声音和文本。
深度学习是无监督学习的一种。深度学习的概念源于人工神经网络的研究。含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。
Deeplearning本身算是machinelearning的一个分支，简单可以理解为neuralnetwork的发展。
大约二三十年前，neuralnetwork曾经是ML领域特别火热的一个方向，但是后来确慢慢淡出了，原因包括以下几个方面：1）比较容易过拟合，参数比较难tune，而且需要不少trick；2）训练速度比较慢，在层次比较少（小于等于3）的情况下效果并不比其它方法更优；所以中间有大约20多年的时间，神经网络被关注很少，这段时间基本上是SVM和boosting算法的天下。
但是，一个痴心的老先生Hinton，他坚持了下来，并最终（和其它人一起Bengio、Yann.lecun等）提成了一个实际可行的deeplearning框架。
Deeplearning与传统的神经网络之间有相同的地方也有很多不同。
二者的相同在于deeplearning采用了神经网络相似的分层结构，系统由包括输入层、隐层（多层）、输出层组成的多层网络，只有相邻层节点之间有连接，同一层以及跨层节点之间相互无连接，每一层可以看作是一个logisticregression模型；这种分层结构，是比较接近人类大脑的结构的。
而为了克服神经网络训练中的问题，DL采用了与神经网络很不同的训练机制。
传统神经网络（这里作者主要指前向神经网络）中，采用的是backpropagation的方式进行，简单来讲就是采用迭代的算法来训练整个网络，随机设定初值，计算当前网络的输出，然后根据当前输出和label之间的差去改变前面各层的参数，直到收敛（整体是一个梯度下降法）。
而deeplearning整体上是一个layer-wise的训练机制。
这样做的原因是因为，如果采用backpropagation的机制，对于一个deepnetwork（7层以上），残差传播到最前面的层已经变得太小，出现所谓的gradientdiffusion（梯度扩散）。
这个问题我们接下来讨论。
八、Deeplearning训练过程8.1、传统神经网络的训练方法为什么不能用在深度神经网络BP算法作为传统训练多层网络的典型算法，实际上对仅含几层网络，该训练方法就已经很不理想。
深度结构（涉及多个非线性处理单元层）非凸目标代价函数中普遍存在的局部最小是训练困难的主要来源。
BP算法存在的问题：（1）梯度越来越稀疏：从顶层越往下，误差校正信号越来越小；（2）收敛到局部最小值：尤其是从远离最优区域开始的时候（随机值初始化会导致这种情况的发生）；（3）一般，我们只能用有标签的数据来训练：但大部分的数据是没标签的，而大脑可以从没有标签的的数据中学习；8.2、deeplearning训练过程如果对所有层同时训练，时间复杂度会太高；如果每次训练一层，偏差就会逐层传递。
这会面临跟上面监督学习中相反的问题，会严重欠拟合（因为深度网络的神经元和参数太多了）。
2006年，hinton提出了在非监督数据上建立多层神经网络的一个有效方法，简单的说，分为两步，一是每次训练一层网络，二是调优，使原始表示x向上生成的高级表示r和该高级表示r向下生成的x'尽可能一致。
方法是：1）首先逐层构建单层神经元，这样每次都是训练一个单层网络。2）当所有层训练完后，Hinton使用wake-sleep算法进行调优。
将除最顶层的其它层间的权重变为双向的，这样最顶层仍然是一个单层神经网络，而其它层则变为了图模型。向上的权重用于“认知”，向下的权重用于“生成”。然后使用Wake-Sleep算法调整所有的权重。
让认知和生成达成一致，也就是保证生成的最顶层表示能够尽可能正确的复原底层的结点。
比如顶层的一个结点表示人脸，那么所有人脸的图像应该激活这个结点，并且这个结果向下生成的图像应该能够表现为一个大概的人脸图像。Wake-Sleep算法分为醒（wake）和睡（sleep）两个部分。
1）wake阶段：认知过程，通过外界的特征和向上的权重（认知权重）产生每一层的抽象表示（结点状态），并且使用梯度下降修改层间的下行权重（生成权重）。
也就是“如果现实跟我想象的不一样，改变我的权重使得我想象的东西就是这样的”。2）sleep阶段：生成过程，通过顶层表示（醒时学得的概念）和向下权重，生成底层的状态，同时修改层间向上的权重。
也就是“如果梦中的景象不是我脑中的相应概念，改变我的认知权重使得这种景象在我看来就是这个概念”。
deeplearning训练过程具体如下：1）使用自下上升非监督学习（就是从底层开始，一层一层的往顶层训练）：采用无标定数据（有标定数据也可）分层训练各层参数，这一步可以看作是一个无监督训练过程，是和传统神经网络区别最大的部分（这个过程可以看作是featurelearning过程）：具体的，先用无标定数据训练第一层，训练时先学习第一层的参数（这一层可以看作是得到一个使得输出和输入差别最小的三层神经网络的隐层），由于模型capacity的限制以及稀疏性约束，使得得到的模型能够学习到数据本身的结构，从而得到比输入更具有表示能力的特征；在学习得到第n-1层后，将n-1层的输出作为第n层的输入，训练第n层，由此分别得到各层的参数；2）自顶向下的监督学习（就是通过带标签的数据去训练，误差自顶向下传输，对网络进行微调）：基于第一步得到的各层参数进一步fine-tune整个多层模型的参数，这一步是一个有监督训练过程；第一步类似神经网络的随机初始化初值过程，由于DL的第一步不是随机初始化，而是通过学习输入数据的结构得到的，因而这个初值更接近全局最优，从而能够取得更好的效果；所以deeplearning效果好很大程度上归功于第一步的featurelearning过程。
说到人工智能，就不能不提到机器学习和深度学习AI爱发猫 www.aifamao.com。很多时候，我们得先明确人工智能与机器学习和深度学习的关系，我们才能更好地去分析和理解人工智能与数据分析、统计学和数据挖掘思维关联。
人工智能与统计学、数据分析和数据挖掘的联系，更多的是机器学习与深度学习，同数据分析与数据挖掘的关联。
0.人工智能人工智能英文缩写为AI，它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。
人工智能是计算机科学研究领域的一个重要分支，又是众多学科的一个交叉学科，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的研究包括语音识别、图像识别、机器人、自然语言处理、智能搜索和专家系统等等，人工智能可以对人的意识、思维的信息过程的模拟。
人工智能包括众多的分支领域，比如大家熟悉的机器学习、自然语言理解和模式识别等。1.机器学习机器学习属于人工智能研究与应用的一个分支领域。
机器学习的研究更加偏向理论性，其目的更偏向于是研究一种为了让计算机不断从数据中学习知识，而使机器学习得到的结果不断接近目标函数的理论。
机器学习，引用卡内基梅隆大学机器学习研究领域的着名教授TomMitchell的经典定义：如果一个程序在使用既有的经验E(Experience)来执行某类任务T(Task)的过程中被认为是“具备学习能力的”，那么它一定要展现出：利用现有的经验E，不断改善其完成既定任务T的性能(Performance)的特质。
机器学习已经有了十分广泛的应用，例如：数据挖掘、计算机视觉、自然语言处理、生物特征识别、搜索引擎、医学诊断、检测信用卡欺诈、证券市场分析、DNA序列测序、语音和手写识别、战略游戏和机器人运用。
在我们当下的生活中，语音输入识别、手写输入识别等技术，识别率相比之前若干年的技术识别率提升非常巨大，达到了将近97%以上，大家可以在各自的手机上体验这些功能，这些技术来自于机器学习技术的应用。
那机器学习与数据挖掘的联系是什么呢？机器学习为数据挖掘提供了理论方法，而数据挖掘技术是机器学习技术的一个实际应用。
逐步开发和应用了若干新的分析方法逐步演变而来形成的；这两个领域彼此之间交叉渗透，彼此都会利用对方发展起来的技术方法来实现业务目标，数据挖掘的概念更广，机器学习只是数据挖掘领域中的一个新兴分支与细分领域，只不过基于大数据技术让其逐渐成为了当下显学和主流。
2.数据挖掘数据挖掘一般是指从大量的数据中通过算法搜索隐藏于其中信息的过程。
数据挖掘本质上像是机器学习和人工智能的基础，它的主要目的是从各种各样的数据来源中，提取出超集的信息，然后将这些信息合并让你发现你从来没有想到过的模式和内在关系。
这就意味着，数据挖掘不是一种用来证明假说的方法，而是用来构建各种各样的假说的方法。数据挖掘不能告诉你这些问题的答案，他只能告诉你，A和B可能存在相关关系，但是它无法告诉你A和B存在什么相关关系。
机器学习是从假设空间H中寻找假设函数g近似目标函数f。数据挖掘是从大量的数据中寻找数据相互之间的特性。
数据挖掘是基于数据库系统的数据发现过程，立足与数据分析技术之上，提供给为高端和高级的规律趋势发现以及预测功能；同时数据量将变得更为庞大，依赖于模式识别等计算机前沿的技术；其还有另外一个名称为商业智能(BI,BusinessIntelligence)，依托于超大型数据库以及数据仓库、数据集市等数据库技术来完成。
主要挖掘方法有:分类、估计、预测、相关性分组或关联规则、聚类、复杂数据类型挖掘(Text,Web,图形图像，视频，音频等)等技术。3.深度学习深度学习的概念源于人工神经网络的研究。
含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。
晦涩难懂的概念，略微有些难以理解，但是在其高冷的背后，却有深远的应用场景和未来。那深度学习和机器学习是什么关系呢？深度学习是实现机器学习的一种方式或一条路径。
其动机在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据。
比如其按特定的物理距离连接；而深度学习使用独立的层、连接，还有数据传播方向，比如最近大火的卷积神经网络是第一个真正多层结构学习算法，它利用空间相对关系减少参数数目以提高训练性能，让机器认知过程逐层进行，逐步抽象，从而大幅度提升识别的准确性和效率。
神经网络是机器学习的一个分支，而深度学习又是神经网络的一个大分支，深度学习的基本结构是深度神经网络。
4.数据分析数据分析的概念：基于数据库系统和应用程序，可以直观的查看统计分析系统中的数据，从而可以很快得到我们想要的结果；这个就是最基本的数据分析功能，也是我们在信息化时代了，除了重构业务流程、提升行业效率和降低成本之外的了。
另外数据分析更多的是指从历史数据里面发现有价值的信息，从而提高决策的科学性。数据分析更侧重于通过分析数据的历史分布然后从中得出一些有价值的信息。还有一个数据分析更重要的功能，就是数据可视化。
比如说，在财务系统的信息化中，基于企业的财务系统，我们可以直观获取企业现金流量表、资产负债表和利润表，这些都来自与我们的数据分析技术。数据分析目前常用的软件是Excel,R,Python等工具。
在对比数据分析和数据挖掘时，数据分析则更像是对历史数据的一个统计分析过程，比如我们可以对历史数据进行分析后得到一个粗糙的结论，但当我们想要深入探索为什么会出现这个结论时，就需要进行数据挖掘，探索引起这个结论的种种因素，然后建立起结论和因素之间模型，当有因素有新的值出现时，我们就可以利用这个模型去预测可能产生的结论。
因此数据分析更像是数据挖掘的一个中间过程。5.总结人工智能与机器学习、深度学习的关系严格意义上说，人工智能和机器学习没有直接关系，只不过是机器学习的方法被大量的应用于解决人工智能的问题而已。
目前机器学习是人工智能的一种实现方式，也是最重要的实现方式。深度学习是机器学习比较火的一个方向，其本身是神经网络算法的衍生，在图像、语音等富媒体的分类和识别上取得了非常好的效果。
数据挖掘与机器学习的关系数据挖掘主要利用机器学习界提供的技术来分析海量数据，利用数据库界提供的技术来管理海量数据。
机器学习是数据挖掘的一种重要方法，但机器学习是另一门学科，并不从属于数据挖掘，二者相辅相成。
深度学习、机器学习的发展带了许多实际的商业应用，让虚幻的AI逐步落地，进而影响人类社会发展；深度学习、机器学习以及未来的AI技术，将让无人驾驶汽车、更好的预防性治疗技术、更发达智能的疾病治疗诊断系统、更好的人类生活娱乐辅助推荐系统等，逐步融入人类社会的方方面面。
AI即使是现在，也是未来，不再是一种科幻影像和概念，业界变成了人类社会当下的一种存在，不管人类是否喜欢或者理解，他们都将革命性地改变创造AI的我们人类自身。
如下：1、DNN：存在着一个问题——无法对时间序列上的变化进行建模。然而，样本出现的时间顺序对于自然语言处理、语音识别、手写体识别等应用非常重要。
对了适应这种需求，就出现了另一种神经网络结构——循环神经网络RNN。2、CNN：每层神经元的信号只能向上一层传播，样本的处理在各个时刻独立，因此又被称为前向神经网络。
3、RNN：神经元的输出可以在下一个时间戳直接作用到自身，即第i层神经元在m时刻的输入，除了（i-1）层神经元在该时刻的输出外，还包括其自身在（m-1）时刻的输出！
介绍神经网络技术起源于上世纪五、六十年代，当时叫感知机（perceptron），拥有输入层、输出层和一个隐含层。输入的特征向量通过隐含层变换达到输出层，在输出层得到分类结果。
早期感知机的推动者是Rosenblatt。在实际应用中，所谓的深度神经网络DNN，往往融合了多种已知的结构，包括卷积层或是LSTM单元。
从2015年下半年开始，“人工智能(AI)”一词逐渐出现在了大众的视野当中。
近两年来，无论是资本、政府或是民众，对人工智能的关注持续升温：各类人工智能相关创业公司纷纷获得可观的融资，政府的工作报告中多次提到“人工智能”，百度的搜索指数也反映了这一趋势。
不过，“人工智能”并不是自己一个人火起来的，他还有两个形影不离的队友：“机器学习”与“深度学习”。这三个词如同天团组合一般，出现在各种地方，有时甚至互为化身。
那么问题来了，人工智能、机器学习、深度学习三者到底是什么关系？它们之间有什么联系与区别？我们这里不干劈概念，从人工智能的发展历程说起。
人工智能的前世今身1956年夏天，以麦卡锡(JohnMcCarthy)、明斯基(MarvinMinsky)、罗切斯特(NathanielRochester)和香农(ClaudeShannon)等为首的一批年轻科学家相聚达特茅斯，共同研究和探讨用机器模拟智能的一系列有关问题（史称“达特茅斯会议”）。
在那次会议上，“人工智能”一词被提出，也标志着“人工智能”这门新兴学科的正式诞生。当时的人工智能研究处于“推理期”，人们认为只要能赋予机器逻辑推理的能力，机器就会具有智能。
当时的研究的确取得了一定的成果，比如证明了不少数学定理，部分定理的证明方式甚至比数学家的更为巧妙。然而，人类的智能不仅来源于逻辑推理能力，也来源于大量经验和知识。
比方说假如我从未坐过飞机也从未给别人买过机票，当你问我明天飞北京的机票多少钱，我估计会懵逼，连查携程都不知道，从而显得不那么“智能”，但其实我的推理能力并没有掉线。
从20世纪70年代开始，人工智能研究进入了“知识期”，人们希望在推理的基础上，把各领域的知识总结起来告诉机器，让它获得智能。
当时大量的专家系统（具有大量的专门知识与经验的程序系统，可进行推理和判断，模拟人类专家的决策过程）问世，在很多应用领域取得了不少成果。
但人们很快认识到，把知识总结起来教给机器是非常困难的（称为“知识工程瓶颈”），因为人类的知识实在太多，还得把这些知识写成机器能够理解的形式。
如果我们能够只给机器一些相对原始的数据，然后让机器自己去进行学习，那该多好。所以从20世纪80年代开始，机器学习这一技术路线逐渐主导了人工智能的研究，直到现在。
什么是机器学习机器学习可以理解为机器从已知的经验数据（样本）中，通过某种特定的方法（算法），自己去寻找提炼（训练/学习）出一些规律（模型）；提炼出的规律就可以用来判断一些未知的事情（预测）。
比如我们接触了1w只单身汪（已知样本），通过归纳总结与比较（算法）找出TA们身上一些共性特点，然后将这些共性特点作为判断单身汪的依据（模型），那么下次遇到一个人（未知样本），就可以判断TA是不是单身了（预测）。
既然是从一堆已知的样本中找规律，那么找规律的方式以及找出的规律的形态就会因人而异，也就是算法与模型都可能会有所不同。所以，机器学习本身也是分为不同流派的，每种流派都有它代表性的模型与算法。
机器学习主要分为符号主义学习（以决策树模型与相关算法为代表）、连接主义学习（以神经网络模型与相关算法为代表）与统计学习（以支持向量机与相关算法为代表）。
符号主义学习与连接主义学习在20世纪80年代至90年代中期非常流行，统计学习则从90年代中期开始迅速占据舞台。值得一提的是，为判断一个人是否为单身汪而找出的一系列特征规律其实就是一棵决策树。
深度学习的崛起进入21世纪之后，互联网与移动互联网的兴起造成了数据量的爆发式增长，云计算也使得计算能力大幅增强，同时神经网络的相关算法也逐渐成熟，所以导致连接主义的代表——神经网络卷土重来。
再次归来的神经网络，往往拥有比原先更为庞大的网络层级结构，所以被称为“深度神经网络”。
由于有足够的训练数据和计算能力，深度神经网络在很多（尤其是语音处理、自然语言处理、图像处理等较为复杂的）任务中取得了非常优异的性能。
性能的突破促成了人工智能在语音识别、文本翻译、人脸识别等一系列场景的应用，让大家看到了新技术落地所带来的经济效益与想象空间，从而引起了人工智能的热潮。
总结说了这么多，下面用一幅图来说明人工智能的技术流派类别与演变历程。要注意的是，虽然人工智能的流派在不断演变，但这并非说明过去的技术路线就被抛弃了。
这更像是以实际应用为导向的各领风骚——在一个时代，某种技术流派正好能够较好地解决这个时代所需要去解决的实际产业问题，那么自然就会流行。
目前有很多不同的机器学习技术正应用于各自适合的场景，比如作为统计学习代表的支持向量机，仍然是文本分类任务的首选技术。最后来回答文章题目中的问题。
人工智能是一个大的概念，是研究如何使机器获得智能的学科；机器学习是人工智能中的一个技术流派，通过从已知样本中提炼规律来获得判断未知样本的“智能”；深度学习则是机器学习的一种，它所学习出来的模型是深度神经网络。
目前经常使用的深度神经网络模型主要有卷积神经网络(CNN)、递归神经网络(RNN)、深信度网络(DBN)、深度自动编码器(AutoEncoder)和生成对抗网络(GAN)等。
递归神经网络实际.上包含了两种神经网络。
一种是循环神经网络(RecurrentNeuralNetwork);另一种是结构递归神经网络(RecursiveNeuralNetwork)，它使用相似的网络结构递归形成更加复杂的深度网络。
RNN它们都可以处理有序列的问题，比如时间序列等且RNN有“记忆”能力，可以“模拟”数据间的依赖关系。卷积网络的精髓就是适合处理结构化数据。
关于深度神经网络模型的相关学习，推荐CDA数据师的相关课程，课程以项目调动学员数据挖掘实用能力的场景式教学为主，在讲师设计的业务场景下由讲师不断提出业务问题，再由学员循序渐进思考并操作解决问题的过程中，帮助学员掌握真正过硬的解决业务问题的数据挖掘能力。
这种教学方式能够引发学员的独立思考及主观能动性，学员掌握的技能知识可以快速转化为自身能够灵活应用的技能，在面对不同场景时能够自由发挥。
