许铁 科学Sciences 今天
科学Sciences导读：公众最早了解模拟大脑的事件是：1997年，电脑“深蓝”击败世界象棋冠军。2011年，计算机“沃森”击败两名曾经称霸电视问答比赛的人类对手，获得100万美金。2012年底，IBM报告了史上最大规模模拟人脑研究。2016年，谷歌AlphaGo击败最厉害的人类棋手。真正的人工智能还有多远？我们回顾两篇相隔6年的媒体文章《模拟人脑，迄今最大规模》和《模拟人类大脑：人工智能的救赎之路？》。公号输入框回复关键字，可下载本文PDF。上期文章是英国US阿尼尔·K·塞思(Anil K. Seth)教授的意识科学综述《意识：五十年(和之后)》Consciousness--The last 50 years (and the next)从神经科学出发剖析意识。从早期的左右脑实验、自由意志实验，到后期核磁共振、神经映像等技术的介入，详细介绍意识科学过去50年发展历程和未来发展方向(附作者简历)。人生事业：科研岗位，做事要平台，思路要跟进；人生苦短，止步吃住行，无力推文明。
模拟人脑：迄今最大规模4个实验，人工智能的救赎之路？(14721字)
目录
A 模拟人脑：真正的人工智能还有多远？(3499字)
1.首次大规模模拟人脑
2.并非不可能
3.从最简单的开始
B 模拟人类大脑：人工智能的救赎之路？(10342字)
1.脑科学与人工智能合作与分离的历史
2.脑科学究竟能否开启深度学习时代的下个阶段
3.深度学习对脑科学的启发
4.我们距离通用人工智能可能还有多远？
参考文献(552字)
Appx(1236字).数据简化DataSimp社区简介
模拟人脑：真正的人工智能还有多远？
文|作者：南方周末2012-11-30，记者：黄永明；科学Sciences-20190105Sat
1.首次大规模模拟人脑
用世界上运算速度最快的96台计算机，研究人员制造出了包含5300亿个神经元和100万亿个突触的人造“大脑”。这是迄今为止对大脑的最大规模的模拟。
图2：IBM公司研究人员正在用电脑模拟人脑。在神经科学解决最基本的问题之前，人工智能不大可能产生突破。(南方周末资料图)
2012年11月14日，在美国犹他州盐湖城的2012超级计算大会上，IBM的计算机专家提交了一份标题是“1014”的报告。报告所描述的研究被媒体称为“认知计算的里程碑”。使用了世界上运算速度最快的96台计算机，研究人员制造出了包含5300亿个神经元和100万亿个突触的人造“大脑”。
例1.模拟恒河猴大脑
这是迄今为止对大脑的最大规模的模拟。它的初始目标是模拟出实验室中常见的恒河猴的大脑。有网友戏称“世界上第一台人工智能计算机诞生后的第一件事会是要一根香蕉吃”，但现在这个“大脑”只是“神经形态工程学”意义上的。
这里所说的神经元和突触并不是生物学意义上的。对于计算机来说，神经元就是计算中心，每一个神经元能够从周边成千上万的其他神经元那里接收到输入信号，对数据进行分析处理，然后再发射出去；突触是用于连接神经元的，它是记忆和学习发生的地方。
换句话说，神经形态工程学是受生物脑的功能和结构的启发，来改进计算机。比如说，传统的计算机依靠数量巨大的晶体管的打开与关闭来运行，要求接近完美的动作。这意味着电力的消耗。人脑只需要20瓦的电力，但是如果用传统方式建立与人脑规模相当的计算机，其用电量将相当于一个小城的用电量。之所以会这样，一个原因就是人脑是“事件驱动”的，只有当某些神经元被激活时才会较为消耗能量。而且，人脑突触的失误率非常高，在30%到90%的情况下会动作失败，但人脑工作得很好。假如是传统的计算机，晶体管一次失误可能就会导致死机。
IBM的最新成果将电脑设计成了“事件驱动”，电力消耗也大幅降低。但现有的结果并不是在生物学上或功能上的精确模拟，计算机仍然不能思考或是感受。有一些科学家对达到这最终的目标显得很乐观，但也有人认为这还相当遥远。因为现在人们对人脑运行的了解还实在是太少，在神经科学解决最基本的问题之前，人工智能不大可能产生突破。“这有点像是拥有了世界上最大数量的乐高块，却对于能从中得到什么毫无头绪。真正的艺术不在于买乐高块，而在于知道如何把它们组装起来。”《纽约客》评论说。
2.并非不可能
瑞士联邦理工学院的神经科学家亨瑞·马克拉姆(Henry Markram)自2005年起主持了一项称为“蓝脑计划”的项目，其目标就是用计算机模仿出人脑的生理学过程。在2009年的一次TED演讲中，马克拉姆称：“建造一个人类大脑并非不可能，我们将用10年的时间做到。”他想象中的人造大脑将能够说话，拥有人类的智力水平和相似的行为方式。
另一名在这个问题上持乐观态度的研究者是美国的未来学家雷蒙德·库茨魏尔(Raymond Kurzweil)。他预言到2029年就会有计算机通过图灵测试，并愿意为此赌上两万美元。所谓图灵测试，是图灵在1950年提出的一个游戏，让一个人类的审问者去审问一台机器和一名真人，这名审问者并不知道对方的身份，而机器的目标是让审问者把自己误当成人，而真人则要帮助审问者正确识别出机器。如果机器成功迷惑了审问者，那么我们就说这台机器通过了图灵测试。
支撑起科学家和工程师乐观态度的一个主要因素，是所谓“摩尔定律”——计算机的运算能力每18到24个月就会翻倍。
例2.IBM沃森模拟竞猜手
2011年，在美国最受欢迎的电视竞猜节目《危险边缘》(Jeopardy!)上，来自IBM的计算机“沃森”(Watson)击败了两名人类对手。竞猜节目中的题目涵盖范围很广，历史、文学、语言、艺术、科学、文化等都有涉及，其形式是参赛者会收到短语提示，根据这些提示用问句的方式抢答出那些短语所描述的对象。其中涉及了对自然语言的理解和联想能力，而这通常被认为是人类思维优于计算机的方面。
“沃森”的研发者大卫·费鲁奇(David Ferrucci)就指出，即便是用速度最快的处理器，计算机也需要两个小时才能答出一道涉及自然语言的题目。对于《危险边缘》这样的节目，这完全是不可接受的。想要获胜，必须在三秒钟之内作答。因此，“沃森”使用了2880个处理器，分布在90个服务器上。它还储存了多达两亿页成结构或不成结构的“知识”，包含了维基百科的全文，但竞赛时它并没有连接互联网。
在这场竞赛中，两名人类对手都是历次比赛中最强大的获胜者，“沃森”击败了他们，获得了100万美元的奖金。在对自然语言的处理上，“沃森”的创新之处并不是采用了什么新的高超的算法，而是同时执行数以千计的语言分析算法，从结果中寻找共性。只有当“沃森”确信自己得到了正确答案时才会抢答，如果对于答案不那么有信心，它则会保持沉默，不冒险作答。
例3.IBM深蓝对弈世界象棋大师卡斯帕洛夫
虽然这不表明“沃森”能够像人类那样去理解语言，但它成功处理了人类语言中双关、模糊的一面。1997年电脑“深蓝(Deep Blue)”因击败世界象棋冠军而震惊世界，仅仅五年之后，计算机科学家就做到了仅靠连接八台个人电脑而达到相等的运算能力。库茨魏尔认为，依照现在电脑的发展速度，在“沃森”之后仅需七年，单独一个处理器就将做到它在《危险边缘》中完成的壮举；仅仅10年，个人计算机就能达到这个水平。
3.从最简单的开始
例4.秀丽隐杆线虫
秀丽隐杆线虫是一种生命只有几天的线虫，自1974年起就被当作分子生物学和发育生物学中的“模式生物”。这是一种看上去非常简单的生物：身长大约1毫米，一只秀丽隐杆线虫由959个细胞组成，其中有302个是神经元，95个是肌细胞。早在1980年代，生物学家们就搞清楚了秀丽隐杆线虫302个神经元的连接方式；然而，过去26年中所有尝试模拟其完整神经系统的努力均以失败告终。
1997年和1998年，美国俄勒冈大学和日本的一组研究人员就分别尝试过建立秀丽隐杆线虫的完成模型，包括整个身体的每一个神经元、突触，以及完整的感觉形态(sensory modality)。两个项目都是只公布了最初的计划，然后就再无下文。此后，从2004年到2010年间，日本、英国、美国的研究人员还开展过类似项目，有一些收获，但远非完整。
尽管一只秀丽隐杆线虫只有302个神经元，但根据2011年发表的一项研究，秀丽隐杆线虫的躯体神经系统含有6393个化学突触、890个缝隙连接、1410个肌肉神经接点。即便人们已经很清楚神经元的连接方式，但突触是如何行为的仍是正处于研究之中的课题。美国哈佛大学的大卫·达伦布尔(David Dalrymple)就认为，之前的研究只是从连接方式出发，而并不真正理解神经元，这就好像你想要制造一台收音机，而手上只有一张电路示意图，没有任何关于零件的信息。
达伦布尔是哈佛大学的一名博士生，受谷歌CEO拉里·佩奇的资助，从2011年开始运用“光遗传学”(optogenetics)的手段进攻之前所有人都未成功的问题。他的目标是确定秀丽隐杆线虫每一个神经元的功能、行为和生物物理特性，最终在计算机上重建出其完整的神经系统。他估计这一工作大概需要三到四年的时间。
同时，一个由美国、欧洲和俄罗斯的科学家与计算机专家合作进行的“OpenWorm”项目也从2011年开始，尝试在计算机上全面模拟出秀丽隐杆线虫——从基因到行为。他们在2012年初已经推出了OpenWorm浏览器，让所有人都能以3D形式探索秀丽隐杆线虫在细胞层面的结构。这个项目的一个哲学思想是，只有当我们能够重建一个生物体的时候，才代表我们真正理解了这个生物体。
秀丽隐杆线虫是自然界中拥有神经系统的最简单的生物之一，也是生物学家最为熟悉的生物。达伦布尔和OpenWorm对秀丽隐杆线虫的模拟只是万里长征的第一步，他们的最终目标都是模拟人脑的神经系统。在成功模拟秀丽隐杆线虫的神经系统之后，达伦布尔计划中接下来的目标将是五天大的斑马鱼幼体，此时它大约有10万个神经元；然后是有96万个神经元的蜜蜂、5000万个神经元的老鼠，最终是850亿个神经元的人脑。达伦布尔期望对人脑的在细胞层面的模拟能在他的有生之年完成。达伦布尔出生于1991年。
(注1：选自南方周末2012-11-30原题《模拟人脑，迄今最大规模》[1-2]，记者：黄永明。)
模拟人类大脑：人工智能的救赎之路？
文|许铁，源|混沌巡洋舰(ID：chaoscruiser)，科学Sciences-20190105Sat
这两年，频频有专家警示深度学习即将进入寒冬。而同时，一个名叫“类脑智能”的词汇火起来，这个概念说的是一种比目前深度学习更加接近人脑的智能。这背后的故事是，深度学习的大佬，目前已经注意到深度学习的原创性进展面临瓶颈，甚至呼吁全部重来。为了拯救这种趋势，模拟人脑再次成为一种希望。然而这一思路是否经得住深度推敲?
我本人做过多年计算神经科学和AI，做一个抛砖引玉的小结。
AI发展的危机人工智能，目前多被理解成一个领域领应用的工程学科，从自动安防系统到无人驾驶是它的疆土，而模式识别和计算机专家，是这片陆地的原住民。目前的人工智能事实上以工程思维为主，从当下人工智能的主流深度学习来看，打开任何一篇论文，映入眼帘的是几个知名数据集的性能比较，无论是视觉分类的ImageNet，Pascal Vol，还是强化学习的Atari game。各种各样的bench mark和曲线，让我们感觉像是一个CPU或者数码相机的导购指南。
那么，是否这些在这些流行数据库跑分最高的「智能工具」就更智能？这可能取决于对「智能」本身的定义。如果你问一个认知专家「智能」是不是ImageNet的错误率，那么他一定会觉得相当好笑。一个人可能在识别图片的时候由于各种劳累和马虎，在这个数据集的错误率高于机器。但是只要你去和它谈任何一个图片它所理解的东西，比如一个苹果，你都会震惊于其信息之丰富，不仅包含了真实苹果的各种感官，还包含了关于苹果的各种文学影视，从夏娃的苹果，到白雪公主的苹果。应该说，人类理解的苹果更加接近概念网络里的一个节点，和整个世界的所有其它概念相关联，而非机器学习分类器眼里的n个互相分离的「高斯分布」。
如果我们认为，「智能」是解决某一类复杂问题的能力，是否我们就可以完全不care上述那种「理解」呢？这样的智能工具，顶多是一些感官的外延，而「感官」是否可以解决复杂问题呢？一个能够准确的识别1000种苹果的机器，未必能有效的利用这样的信息去思考如何把它在圣诞节分作为礼品分发给公司的员工，或者取悦你的女友。没有「理解」的智能，将很快到达解决问题复杂度的上限。缺少真正的理解，甚至连做感官有时也会捉襟见肘，你在图像里加入各种噪声，会明显的干扰分类的准确性，这点在人类里并不存在。比如下图的小狗和曲奇，你可以分出来，AI很难。
「语言」在人类的智能里享有独一无二的特殊性，而刚刚的「理解」问题，背后的本质是目前深度学习对语言的捉襟见肘。虽然我们可以用强大的LSTM生成诗歌(下图)，再配上注意力机制和外显记忆与人类对话，也不代表它能理解人类的这个语言系统。目前机器对自然语言处理的能力远不及视觉(当下的图卷积网络或可以这个领域做出贡献)。
图4-5▲LSTM加上注意力机制，可以生成极为复杂的宋词，却不真正理解人类的语言
Chinese Song Iambics generation with neuralattention-based model (Qinxi Wang 2016)Zhang, Xingxing, and MirellaLapata.“Chinese poetry generationwith recurrent neural networks.” Proceedings ofthe 2014 Conferenceon Empirical Methods in Natural Language Processing (EMNLP).2014.
更加糟糕的还有强化学习，深度强化学习已经战胜了最强大的人类棋手。但是强化学习却远非一种可靠的实用方法。这里面最难的在于目前的强化学习还做不到可扩展，也就是从一个游戏的问题扩展到真实的问题时候会十分糟糕。一个已经学的很好的强化学习网络，可以在自己已经学到的领域所向披靡，然而在游戏里稍微增加一点变化，神经网络就不知所措。我们可以想象成这是泛化能力的严重缺失，在真实世界里，这恰恰一击致命。
图6▲游戏里的王者不代表真实世界能用
事实上在很长时间里，人工智能的过分依赖工科思维恰恰给它的危机埋下了伏笔，在人工数据上破记录，并不代表我们就会在刚说的「理解」上做进步。这更像是两个不同的进化方向。其实，关于智能的更深刻的理解，早就是认知科学家，心理学家和神经科学家的核心任务。如果我们需要让人工智能进步，向他们取经就看起来很合理。
1.脑科学与人工智能合作与分离的历史
虽然看起来模拟生物大脑是达到更高层次人工智能的必由之路，但是从当下人工智能学者的角度，这远非显然。这里的渊源来自人工智能的早期发展史，应该说深度学习来自于对脑科学的直接取经，然而它的壮大却是由于对这条道路的背离。我们可以把这个历史概括为两次合作一次分离。
第一次合作：深度学习的前身-感知机。模拟人类大脑的人工智能流派又称为连接主义，最早的连接主义尝试就是模拟大脑的单个神经元。Warren McCulloch和Walter Pitts在1943年提出而来神经元的模型，这个模型类似于某种二极管或逻辑门电路。事实上，人们很快发现感知机的学习有巨大的局限性，Minksky等一批AI早期大师发现感知机无法执行「异或」这个非常基本的逻辑运算，从而让人们彻底放弃了用它得到人类智能的希望。对感知机的失望导致连接主义机器学习的研究陷入低谷达15年，直到一股新的力量的注入。
第二次合作：这次风波，来自一群好奇心极强的物理学家，在20世纪80年代，hopefiled提出了它的Hopefield网络模型，这个模型受到了物理里的Ising模型和自旋玻璃模型的启发，Hopefield发现，自旋玻璃和神经网络具有极大的相似性。每个神经元可以看作一个个微小的磁极，它可以一种极为简单的方法影响周围的神经元，一个是兴奋(使得其他神经元和自己状态相同)，一个是抑制(相反)。如果我们用这个模型来表示神经网络，那么我们会立刻得到一个心理学特有的现象：关联记忆。比如说你看到你奶奶的照片，立刻想到是奶奶，再联想到和奶奶有关的很多事。这里的观点是，某种神经信息(比如奶奶)对应神经元的集体发放状态(好比操场上正步走的士兵)，当奶奶的照片被输入进去，它会召唤这个神经元的集体状态，然后你就想到了奶奶。
由于这个模型可以模拟心理学的现象，人们开始重新对模拟人脑的人工智能报以希望。人们从不同领域开始涌入这个研究。在这批人里，发生了一个有趣的分化。有的人沿着这个路数去研究真实大脑是怎么思考的，有的人则想直接用这个模型制造机器大脑，前者派生出了计算神经科学，后者则导致了联结主义机器学习的复兴，你可以理解为前者对猫感兴趣，后者只对机器猫感兴趣，虽然两者都在那里写模型。CNN和RNN分别在80年中后期被发现，应该说，CNN结构是直接借鉴Husel和Wiesel发现的视觉皮层处理信息的原理，而RNN则是刚刚说到的Hopefield网络的一个直接进化。
一批人用模型研究真实大脑，另一批研究机器大脑。
AI与脑科学的分离：90年代后人工智能的主流是以支持向量机为代表的统计机器学习，而非神经网络。在漫长的联结主义低谷期，Hinton坚信神经网络既然作为生物智能的载体，它一定会称为人工智能的救星，在它的努力下，Hopefield网络很快演化称为新的更强大的模型玻尔兹曼机，玻尔兹曼机演化为受限玻尔兹曼机，自编码器，堆叠自编码器，这已经很接近当下的深度网络。而深度卷积网络CNN则连续打破视觉处理任务的记录，宣布深度学习时代开始。
然而，如果你认为这一股AI兴起的风波的原因是我们对大脑的借鉴，则一定会被机器学习专家diss，恰恰相反，这波深度学习的崛起来自于深度学习专家对脑科学的背离。CNN虽然直接模拟了大脑视皮层结构的模拟，利用了层级编码，局部网络连接，池化这样和生物直接相关的原理。但是，网络的训练方法，却来自一种完全非生物的方法。由于信息存储在无数神经元构成的网络连接里，如何让它学进去，也是最难的问题。很久以前，人们使用的学习方法是Hebian learning的生物学习方法，这种方法实用起来极为困难。Hinton等人放弃这条道路而使用没有生物支撑但更加高效的反向传播算法，使得最终训练成功。从此数据犹如一颗颗子弹打造出神经网络的雏形，虽然每次只改一点点，最终当数据的量特别巨大，却发生一场质变。
CNN能够在2012年而不是2011或者2010年开始爆发是因为那一年人们提出了Alexnet。而Alexnet比起之前的Lenet一个关键性的微小调整在于使用Relu，所谓线性整流单元替换了之前的Sigmoid作为激活函数。Simoid函数才是更加具有生物基础的学习函数，然而能够抛弃模拟大脑的想法使用Relu，使得整个网络的信息流通通畅了很多。
深度学习另一条主线，沿着让机器听懂人类的语言，一种叫LSTM的神经网络，模拟了人类最奇妙的记忆能力，并却开始处理和自然语言有关的任务，LSTM框架的提出依然是没有遵循大脑的结构，而是直接在网络里引入类似逻辑门的结构控制信息。
由此我们看到，神经网络虽然在诞生之初多次吸收了生物学的原理本质，而其最终的成功却在于它大胆的脱离生物细节，使用更加讲究效率的数理工科思维。生物的细节千千万，有一些是进化的副产品，或者由于生物经常挨饿做出的妥协，却远非智能的必须，因此对它们的抛弃极大的解放了人工智能的发展。
2.脑科学究竟能否开启深度学习时代的下个阶段
那么生物神经网络究竟可不可以启发人工智能呢？刚刚的分析我们看到生物的细节并不一定对人工智能有帮助，而生物大脑计算的根本原理却始终在推动深度学习。正如CNN的发展直接使用了层级编码的原理，然后根据自己计算的需求重新设定了细节，无论如何变化，生物视觉处理和CNN背后的数学核心却始终保持一致。
那么目前的深度学习工具用到了多少生物大脑计算的基本原理呢，答案是，冰山一角。如果说人工智能要继续革命，那么无疑还要继续深挖这些原理，然后根据这些原则重新设定细节。答案很简单，宇宙的基本定律不会有很多，比如相对论量子论这样的根本原理几乎统治物理世界。如果生物大脑使用一套原理实现了智能，那么很可能人工智能也不会差很远。即使细节差距很大，那个根本的东西极有可能是一致的。
这样的数学原理应该不会有很多条，因为人脑的结构一个惊人的特点就是虽然脑区非常不同，但不同脑区的构造却极为相似，这种相似性显示了大脑不同脑区使用类似的基本原理。我们目前的深度学习算法，无论是CNN还是RNN，都只是发现了这个基本原理的某个局部。发现这个基本原理，恰恰是计算神经科学的使命。对于智能这个上帝最杰出的作品，我们能做的只有盲人摸象，目前摸到的东西有一些已经被用到了人工智能里，有些则没有，我们随便举几个看看。
确定已经被应用的原理：
1.层级编码原理(Hierarchical coding)：生物神经网络最基本的结构特点是多层，无论是视觉，听觉，我们说基本的神经回路都有层级结构，而且经常是六层。这种纵深的层级，对应的编码原理正是从具体特征到抽象特征的层级编码结构。最有名的莫过于祖母细胞，这一思路直接催生了以CNN为代表的深度学习。
图9▲皮层网络的构成往往是 6 层结构，在不同的脑区反复出现
图10▲层级编码假设
2.集群编码原理(Distributed coding)：一个与层级编码相对应的生物神经编码假设是集群编码，这里说的是一个抽象的概念，并非对应某个具体的神经元，而是被一群神经元所表述。这种编码方法，相比层级编码，会更具备鲁棒性，或更加反脆弱，因为删除一些细胞不会造成整体神经回路的瘫痪。集群编码在深度学习里的一个直接体现就是词向量编码word2vect，词向量编码并没有采取我们最常想到的每个向量独立的独热编码，而是每个向量里有大量非零的元素，如此好比用一个神经集群表述一个单词，带来的好处不仅是更加具有鲁棒性，而且我们无形中引入了词语之间本来的互相关联，从而使得神经网络更好的吸收语义信息，从而增加了泛化能力。在此处，每个词语概念都有多个神经元表达，而同一个神经元，可以参与多个概念的描述。这与之前说的每个概念比如祖母对应一个特定的神经元有比较大的区别。
然而目前的深度学习依然缺乏对集群编码更深刻的应用，这点上来看，计算神经科学走的更远，我们使用RNN内在的动力学特性，可以编码很多属性。
局部被应用或没有被应用的原理：
1.cortical minicolumn：皮层内的神经元都采取簇状结构，细胞之间不是独立的存在，而是聚集成团簇，犹如一个微型的柱状体。这些柱状体成为信息传输的基本单元。这种惊人一致的皮层内结构，背后的认知原理是什么呢？目前还没有定论。但是Hinton已经把类似的结构用到了Capsule Network，在那里，每个Capsule对应一个簇状体，而它们有着非常明确的使命，就是记录一个物体的不同属性，由于一个Capsule有很多神经元构成，它也可以看作一个神经元向量，如果它用来记录一组特征，则可以对付向旋转不变性这种非常抽象的性质。
图12▲神经簇细胞，每个神经簇有80-120个神经元，犹如大脑认知的基本单元，你可以把某个组成神经簇的细胞集团看成矢量神经元
图13▲Dynamic RoutingBetween CapsulesCapsule Network (Hinton)每个Capsule取代之前的单个神经元，能够同时感知物体的多个属性，如长度，宽度，角度，最终通过多个特征确定物体存在的概率，因此比卷积网络具备表述更多不变性的能力，比如旋转不变性
2.兴奋抑制平衡：生物神经系统的各个组成部分，尤其是靠近深层的脑区，都具有的一个性质是兴奋性和抑制性神经元的信号互相抵消，犹如两个队伍拔河，两边势均力敌(最终和为零)。这使得每个神经元接受的信息输入都在零附近，这带来的一个巨大的好处是神经元对新进入信号更加敏感，具有更大的动态范围。这个原理已经被深度学习悄悄的介入了，它的直接体现就是极为实用的batch normalization，输入信号被加上或减去一个值从而成为一个零附近的标准高斯分布(这和兴奋抑制平衡效果类似)，从而大大提升了网络梯度传输的效率。
3.动态网络连接：生物神经系统的神经元和神经元之间的连接-突触本身是随放电活动变化的。当一个神经元经过放电，它的活动将会引起细胞突触钙离子的浓度变化，从而引起两个神经元间的连接强度变化。这将导致神经网络的连接权重跟着它的工作状态变化，计算神经科学认为动态连接的神经网络可以承载工作记忆，而这点并没有被目前的深度学习系统很好利用。
图14▲Synaptic Theory ofWorking Memory(Science)
4.Top down processing：目前深度学习使用的网络以前向网络为主(bottom up)，而事实上，在生物大脑里，不同脑区间反馈的连接数量超过前向的连接，这些连接的作用是什么？一个主流的观点认为它们是从高级脑区向感官的反向调节(top down)，如同我们所说的相由心生，而不是相由眼生。同一个图片有美女拿着蛋糕，可能一个你在饥肠辘辘的时候只看到蛋糕而吃饱了就只看到美女。我们所看到的，很大程度上取决于我们想要看到什么，以及我们的心情。这点对我们的生存无疑十分重要，你显然不是在被动的认知和识别物体，你的感知和认知显然是统一的。你在主动的搜索对你的生存有利的物体，而非被动的感觉外界存在。这一点目前深度学习还完全没有涉及。一个引入相应的机制的方法是加入从深层神经网络返回输入层的连接，这样深层的神经活动就可以调控输出层的信息处理，这可能对真正的「理解」有着极为重大的意义。
图15▲给卷积神经网络加入从输出端返回输入端的连接，是一个深度学习未来的重要方向Deep ConvolutionalNeural Networks as Models of the Visual System
5.Grid Cells：海马栅格细胞是一组能够集群表征空间位置的细胞，它们的原理类似于对物体所在的位置做了一个傅里叶变换，形成一组表征物体空间位置的坐标基。为什么要对空间里物体的位置做一次傅里叶变换，这里包含的原理是对任何环境中的物体形成通用的空间表示，在新的环境里也可以灵活的学习物体的位置，而不是一下子成为路痴。
图16▲Grid Cell被用在强化学习里，使得我们可以得到更加强大的导航能力
我们对栅格细胞的认知可能只是更大的神经编码原则的一个局部，正如同傅里叶变换和量子力学之间存在着隐秘的联系。虽然栅格网络，目前已经被Deepmind用于空间导航任务，但是目前AI所应用的应该只是这一原理的冰山一角。
6.Dale Principle：Dale Principle说的是兴奋型和抑制型神经元是完全分开的，犹如动物分雌雄。兴奋性神经元只对周围神经元发放正向反馈(只分泌兴奋性递质，如Glutamine)，让其它神经元一起兴奋，而抑制型神经元只发放负向反馈(只分泌抑制型递质，如GABA)，取消其它神经元的兴奋。目前的深度学习网络不会对某个神经元的连接权重做如此限制，每个神经元均可向周围神经元发放正或负的信号。这一原理到底对AI有没有作用目前未知。
7.Routing by Inhibitory cells：生物神经系统包含种类丰富的抑制型神经元，它们往往在生物神经网络起到调控功能，如同控制信息流动的路由器，在合适的时候开启或关闭某个信号。当下的AI直接用attention的机制，或者LSTM里的输入门来调控是否让某个输入进入网络，其它一点类似路由器的作用，但是种类和形式的多样性远不及生物系统。
8.临界：大脑的神经元组成一个巨大的喧闹的动力系统，根据很多实验数据发现，这个动力系统处于平衡和混沌的边缘，被称为临界。在临界状态，神经元的活动是一种混乱和秩序的统一体，看似混乱，但是隐含着生机勃勃的秩序。临界是不是也可以用于优化目前的深度学习系统，是一个很大的课题。
9.自由能假说：这个假定认为大脑是一台贝叶斯推断机器。贝叶斯推断和决策的核心即由最新采纳的证据更新先验概率得到后验概率。认知科学的核心(Perception)就是这样一个过程。
这里再说两句认知，认知的过程用机器学习的语言说就是用大脑的内部变量来模拟外部世界，并希望建立内部世界和外部的一个一一映射关系。这里我们说认知的模型是一个概率模型，并且可以被一系列条件概率所描述。如果用一个形象的比喻来说，你可以把你的大脑看成一个可以自由打隔断的巨大仓库，你要把外部世界不同种类的货放进不同的隔断，你的大脑内部运作要有一种对外界真实变化的推测演绎能力，即随时根据新的证据调整的能力，你和外界世界的模型匹配的越好，你的脑子就运转越有效率。认知是对外部世界运动的一种编码，你可以立刻联想到机器学习里的表征方法(representation)，如果你熟悉RNN或CNN的embeding过程，就会有一种豁然开朗的感觉。这个假说的理论如果成立，我们机器学习目前应当使用的只是冰山一角，可以参考强化学习种的有模型学习。更多内容见大脑的自由能假说-兼论认知科学与机器学习
10.一些未被量化的心理学和认知科学领地，比如意识。意识可以理解为自我对自我本身的感知。关于意识的起源，已经成为一个重要的神经科学探索方向而非玄学，最近的一些文章指出(The controversial correlates of consiousness –Science 2018)，意识与多个脑区协同的集体放电相关。但是，关于意识的一个重大疑团是它对认知和智能到底有什么作用，还是一个进化的副产物。如果它对智能有不可替代的作用，那么毫无疑问，我们需要让AI最终拥有意识。一个假说指出意识与我们的社会属性相关，因为我们需要预测它人的意图和行动，就需要对它人的大脑建模，从而派生了对自己本身大脑的感知和认知，从而有了意识。那么我们究竟需要不需要让AI之间能够互相交流沟通形成组织呢？这就是一个更有趣的问题了。
3.深度学习对脑科学的启发
反过来，深度学习的某些发现也在反向启发脑科学，这点正好对应费曼所说的，如果你要真正理解一个东西，请你把它做出来。由于深度学习的BP算法太强大了，它可以让我们在不care任何生物细节的情况下任意的改变网络权重，这就好比给我们了一个巨大的检测各种理论假设的东西。由于当下对大脑连接改变的方式我们也只理解了冰山一角，我们可以先丢下细节，直接去检验所有可能的选项。这点上看，用深度学习理解大脑甚至更加有趣。
就那刚刚讲的兴奋抑制平衡来看，最初人们对兴奋抑制平衡作用的理解更多停留在它通过对信号做一个信息增益，而在深度学习兴起后，我们越来越多的把它的功能和batch normalization联系起来，而batch normalization更大的作用在于对梯度消失问题的改进，而且提高了泛化性能，这无疑可以提示它的更多功能。而最近的一篇文章甚至直接将它和LSTM的门调控机制联系起来。抑制神经元可以通过有条件的发放对信息进行导流，正如LSTM种的输入门，输出门的作用，而互相连接的兴奋神经元则作为信息的载体(对应LSTM中央的循环神经网络)。
图18▲Cortical Microcircuitas gated recurrent networks译DeepMind LSTM和皮层通用回路具有极为密切的相关性
4.我们距离通用人工智能可能还有多远？
其实人工智能的目标就是找寻那个通用人工智能，而类脑计算是实现它的一个重要途径。通用智能和当下的智能到底有什么实质性的区别，作为本文结尾，我们来看一下：
对数据的使用效率：比如大脑对数据的应用效率和AI算法并非一个等级，你看到一个数据，就可以充分的提取里面的信息，比如看到一个陌生人的脸，你就记住他了，但是对于目前的AI算法，这是不可能的，因为我们需要大量的照片输入让他掌握这件事。我们可以轻松的在学完蛙泳的时候学习自由泳，这对于AI，就是一个困难的问题，也就是说，同样的效率，人脑能够从中很快提取到信息，形成新的技能，AI算法却差的远。
这是为什呢？可能这里的挂件体现在一种被称为迁移学习的能力。虽然当下的深度学习算法也具备这一类举一反三的迁移学习能力，但是往往集中在一些真正非常相近的任务里，人的表现却灵活的多。这是为什么呢？也许，目前的AI算法缺少一种元学习的能力。和为元学习，就是提取一大类问题里类似的本质，我们人类非常容易干的一个事情。到底什么造成了人工神经网络和人的神经网路的差距，还是未知的，而这个问题也构成一个非常主流的研究方向。
能耗比：如果和人类相比，人工智能系统完成同等任务的功耗是人的极多倍数(比如阿法狗是人脑消耗的三百倍，3000MJ vs 10MJ 5小时比赛)。如果耗能如此剧烈，我们无法想象在能源紧张的地球可以很容易大量普及这样的智能。那么这个问题有没有解呢？当然有，一种，是我们本身对能量提取的能力大大增强，比如小型可控核聚变实用化。另一种，依然要依靠算法的进步，既然人脑可以做到的，我们相信通过不断仿生机器也可以接近。这一点上我们更多看到的信息是，人工智能的能耗比和人相比，还是有很大差距的。
不同数据整合：我们离终极算法相差甚远的另一个重要原因可能是现实人类在解决的AI问题犹如一个个分离的孤岛，比如说视觉是视觉，自然语言是自然语言，这些孤岛并没有被打通。相反，人类的智慧里，从来就没有分离的视觉，运动或自然语言，这点上看，我们还处在AI的初级阶段。我们可以预想，人类的智慧是不可能建立在一个个分离的认知孤岛上的，我们的世界模型一定建立在把这些孤立的信息领域打通的基础上，才可以做到真正对某个事物的认知，无论是一个苹果，还是一只狗。
沟通与社会性：另外，人类的智慧是建立在沟通之上的，人与人相互沟通结成社会，社会基础上才有文明，目前的人工智能体还没有沟通，但不代表以后是不能的，这点，也是一个目前的AI水平与强AI(超级算法)的距离所在。
有的人认为，我们可以直接通过模拟大脑的神经元，组成一个和大脑类似复杂度的复杂系统，让它自我学习和进化，从而实现强AI。从我这个复杂系统专业的角度看，这还是一个不太现实的事情。因为复杂系统里面最重要的是涌现，也就是说当组成一个集合的元素越来越多，相互作用越来越复杂，这个集合在某个特殊条件下会出现一些特殊的总体属性，比如强AI，自我意识。但是我们几乎不可能指望只要我们堆积了那么多元素，这个现象(相变)就一定会发生。
至于回到那个未来人工智能曲线发展展望的话题，我们可以看到，这些不确定的因素都会使得这条发展曲线变得不可确定。然而有一点是肯定的，就是正在有越来越多非常聪明的人，开始迅速的进入到这个领域，越来越多的投资也在进来。这说明，AI已经是势不可挡的称为人类历史的增长极，即使有一些不确定性，它却不可能再进入到一个停滞不前的低谷了，我们也许不会一天两天就接近终极算法，但却一定会在细分领域取得一个又一个突破。无论是视觉，自然语言，还是运动控制。
能否走向通用人工智能的确是人工智能未来发展最大的变数，或许，我们真正的沉下心来去和大脑取经还是可以或多或少的帮助我们。因为本质上，我们在人工智能的研究上所作的，依然是在模拟人类大脑的奥秘。我们越接近人类智慧的终极算法，就越能得到更好的人工智能算法。
(注2：本文来自微信公众号混沌巡洋舰(ID：chaoscruiser)[3]，作者为许铁。)
免责说明：内容综合自南方周末、混沌巡洋舰(ID：chaoscruiser)等媒体，文章只为学术新闻信息传播，注明出处文字参考文献可溯源。本公众号不持有任何倾向性，亦不表示认可其观点或其所述。
赞赏支持后下载PDF资料。改革开放40周年，谨向改革者致敬。我国教育太粗浅落后，文字化教育应该压缩到十年内，全民普及本科教育，培养研究和协作精神。书从何来、读书做甚？应反思并校正当今社会脱离低层、信息封闭、权力黑箱、泛管教化、毫无民主、阉割人性之弊。秦陇纪提议开学后9月10日设置学习节，号召温故知新、终身学习；9月28日孔子阳历诞辰设为教师节，号召全人类树立温故知新素养；整个9月份定位公民学习月，加强传统、文艺、科技、产品、时事的知识学习。十一国庆节后，设置国情宣传周、选举人演讲周、投票选举月，十月份定位国家公民月。全年做生活实践、校园实验、社会实习，文化辅之；3-9月份则以感受、认知、实践、实验、协作、实习为主。
—END—
参考文献(552字)
1.作者：南方周末，记者：黄永明．模拟人脑，迄今最大规模．[EB/OL]；南方周末，http://www.infzm.com/content/83342，2012-11-30，访问日期：2019-01-05．
2.来源：南方周末，原题《模拟人脑，迄今最大规模》．模拟人脑：真正的人工智能还有多远？．[EB/OL]；爱思英语．https://www.xinli001.com/info/100000532，2012-12-10，访问日期：2019-01-04．
3.许铁，来自：微信公众号混沌巡洋舰(ID：chaoscruiser)．模拟人类大脑：人工智能的救赎之路？．[EB/OL]；爱范儿，https://www.ifanr.com/1156036，2019-01-03 ，访问日期：2019-01-04．
x. 秦陇纪．数据简化社区Python官网Web框架概述；数据简化社区2018年全球数据库总结及18种主流数据库介绍；数据科学与大数据技术专业概论；人工智能研究现状及教育应用；信息社会的数据资源概论；纯文本数据溯源与简化之神经网络训练；大数据简化之技术体系．[EB/OL]；数据简化DataSimp(微信公众号)，http://www.datasimp.org，2017-06-06．
模拟人脑：迄今最大规模4个实验，人工智能的救赎之路？(14721字)
秦陇纪2010-2019©科学Sciences
简介：模拟人脑：迄今最大规模4个实验，人工智能的救赎之路？。作者：南方周末、许铁等。来源：南方周末电子刊、混沌巡洋舰(ID：chaoscruiser)/传统和新媒体网文/数据简化社区/秦陇纪微信群聊公众号，参考文献附引文出处。公号输入栏回复关键字“模拟人脑”或文末链接“阅读原文”可下载本文17k字20图17页PDF资料；标题下蓝链接“知识简化”关注后，菜单项有文章分类页；欢迎转发、赞赏、支持科普。主编译者：秦陇纪，数据简化DataSimp、科学Sciences、知识简化新媒体创立者，数据简化社区创始人，数据简化OS设计师/架构师，ASM/Cs/Java/Python/Prolog程序员，英语/设计/IT教师。每天大量中英文阅读/设计开发调试/文章汇译编简化，时间精力人力有限，欢迎转发/赞赏/加入支持社区。版权声明：科普文章仅供学习研究，公开资料©版权归原作者，请勿用于商业非法目的。秦陇纪2018数据简化DataSimp综合汇译编，投稿合作、转载授权/侵权、原文引文错误等请联系DataSimp@126.com沟通。欢迎转发：“数据简化DataSimp、科学Sciences、知识简化”新媒体聚集专业领域一线研究员；研究技术时也传播知识、专业视角解释和普及科学现象和原理，展现自然社会生活之科学面。秦陇纪发起，期待您参与各领域~~
Appx(1236字).数据简化DataSimp社区简介
信息社会之数据、信息、知识、理论持续累积，远超个人认知学习的时间、精力和能力。必须行动起来，解决这个问题。应对大数据时代的数据爆炸、信息爆炸、知识爆炸，解决之道重在数据简化(DataSimplification)：简化减少知识、媒体、社交数据，使信息、数据、知识越来越简单，符合人与设备的负荷。(秦陇纪，2010)
数据简化DataSimp年度会议(DS2010-2019)，聚焦数据简化技术(DataSimplification Techniques)：对各类数据从采集、处理、存储、阅读、分析、逻辑、形式等方面做简化，应用于信息及数据系统、知识工程、各类数据库、物理空间表征、生物医学数据，数学统计、自然语言处理、机器学习技术、人工智能等领域。欢迎数据科学技术、简化实例相关论文投稿加入数据简化社区，参加会议出版专著。请投会员邮箱DataSimp@163.com，详情访问社区网站www.datasimp.org。填写申请表加入数据简化DataSimp社区成员，应至少有一篇数据智能、编程开发IT文章：①原创数据智能科技论文；②数据智能工程技术开源程序代码；③翻译美欧数据智能科技论文；④社区网站发帖人管理员版主志愿者义工；⑤完善黑白静态和三彩色动态社区S圈型LOGO图标。DataSimplification/Sciences/Knowledge Simplification PublicAccounts——DataSimp@163.com, 2018.12.12Wed, Xi'an, Shaanxi, China.
LIFE
Lifebegins at the end of your comfort zone.——Neale Donald Walsch
THEDAY
Thestrength of purpose and the clarity of your vision，alongwith the tenacity to pursue it，is your underlying driver ofsuccess.——Ragy Tomas
投稿QQ群223518938数据简化DataSimp社区；技术公众号“数据简化DataSimp”留言，或(备注：姓名/单位-职务/学校-专业/手机号)加微信账号QinlongGEcai，进“数据简化DataSimp社区”投稿群或“科学Sciences学术文献”读者群等群聊。关注如下三个公众号(搜名称也行)，关注后底部菜单有文章分类页链接。
数据技术公众号“数据简化DataSimp”：
科普公众号“科学Sciences”：
社会教育知识公众号“知识简化”：
(转载请写出处：©数据简化DataSimp2010-2018汇译编，欢迎技术、传媒伙伴投稿、加入数据简化社区！“数据简化DataSimp、科学Sciences、知识简化”投稿反馈邮箱DataSimp@126.com。)
普及科学知识，分享到朋友圈
转发/留言/打赏后“阅读原文”下载PDF
微信扫一扫
关注该公众号
