来源：专知
尽管在过去的几年里，深度学习模型在许多不同的领域取得了巨大的成功，但通常数据匮乏，在不可见的样本上表现不佳，而且缺乏可解释性。目标领域往往存在各种先验知识，利用这些先验知识可以弥补深度学习的不足。为了更好地模仿人类大脑的行为，人们提出了不同的先进方法来识别领域知识并将其集成到深度模型中，以实现数据高效、可泛化和可解释的深度学习，称为知识增强深度学习(KADL)。
在本综述中，我们定义了KADL的概念，并介绍了它的三个主要任务，即: 知识识别、知识表示和知识整合。与现有的专注于特定类型知识的综述不同，我们提供了领域知识及其表示的广泛而完整的分类法。基于我们的分类法，我们对现有的技术进行了系统的回顾，不同于现有的综述集成方法对知识分类法的不可知的工作。该综述包含了现有的工作，并提供了知识增强深度学习一般领域的研究概览。对大量论文的全面和批判性的回顾不仅有助于了解当前的进展，而且有助于确定知识增强深度学习的未来研究方向。
1. 概述
尽管现有的深度模型在各个领域都取得了令人印象深刻的性能，但它们存在一些严重的缺陷，包括数据依赖性高和泛化[1]差。这些缺陷主要源于模型的数据驱动特性以及它们无法有效利用领域知识。为了解决这些限制，知识增强深度学习范式开始引起研究人员的注意，通过该范式，领域知识和可观察数据协同工作，产生数据高效、可泛化和可解释的深度学习算法。
现实世界的领域知识是丰富的。在深度学习背景下，领域知识主要来源于两个来源:目标知识和度量知识。目标知识控制着我们想要预测的目标变量的行为和属性，而度量知识控制着产生目标变量的观察数据的底层机制。基于其表示，本文提出将深度学习中探索的领域知识分为两类:科学知识和经验知识。科学知识代表了在某一领域中已经确立的支配目标变量的属性或行为的规律或理论。相比之下，经验知识是指从长期观察中提取的众所周知的事实或规则，也可以通过人类的推理推断出来。知识可以用各种格式表示和组织。科学知识通常可以用数学方程来精确地表示。另一方面，经验知识通常不太正式，如通过逻辑规则、知识图谱或概率依赖。在深度学习框架中，不同表示形式的知识通过不同的集成方法与数据集成。
由于认识到当前深度学习的不足，人们对捕获先验知识并将其编码到深度学习中越来越感兴趣。两种主流技术是神经符号集成和物理成形深度学习。神经符号集成模型主要是将经验知识编码到传统的符号AI模型中，并将符号模型与深度学习模型进行集成。基于物理的深度学习侧重于将各种理论物理知识编码到不同的深度学习阶段。目前在这一领域的研究论文的范围有限，因为他们关注的要么是神经符号模型，要么是基于物理的机器学习方法，而忽略了许多其他相关的工作。具体而言，现有的神经符号模型综述主要包括对逻辑规则或知识图谱的讨论，以及它们与深度模型[2]、[3]的融合。然而，现有的关于基于物理的机器学习的调研仅限于一个特定的科学学科，并且集成方法通常是特定于任务的，例如，物理[4]，[5]，信息物理系统[6]，几何[7]和化学[8]。因此，这些综述集中在实验室环境下解决科学问题的方法上，缺乏对现实世界应用的讨论。为了解决这一局限性，我们对现有的知识增强深度学习研究进行了全面而系统的综述。我们的综述有三个方面的贡献:
本综述建立了一种新的领域知识分类方法，包括科学知识和经验知识。我们的工作包含了现有的工作，这些工作关注特定学科领域知识的子集[4]-[8]。
本综述涵盖了广泛的知识表示和集成方法与系统分类。它不同于现有的关于一般集成技术的综述，后者不确定领域知识的分类[9]-[13]。
本综述涵盖的方法不仅适用于在实验室环境下解决科学问题，更重要的是，适用于现实世界的应用任务。这项综述不局限于特定的应用任务，它涉及从计算机视觉到自然语言处理的任务。因此，我们的综述不仅引起了深度学习研究者的兴趣，也引起了不同领域的深度学习实践者的兴趣。
我们组织这次综述如下。在第二节中，我们首先介绍了KADL的概念，并定义了三个基本任务(即知识识别、知识表示和知识集成)。然后我们回顾了KADL方法，其中我们根据它们的重点领域知识对不同的技术进行了分类:1)第三节中的带有科学知识的深度学习，2)第四节中的带有经验知识的深度学习。在每个类别中，我们确定了领域知识、它的表示格式，以及为知识与数据的集成提出的现有方法。表一概述了现有的知识增强深度学习方法。
2. 知识增强深度学习
知识增强深度学习的主要任务包括知识识别、知识表示和知识集成到深度模型中。
3. 用科学知识进行深度学习
深度学习模型在先进的科学和工程领域越来越重要，而这些领域传统上是由机械(如第一原理)模型主导的。这类模型对于那些发生机制尚未被专家很好理解的科学问题，或者那些精确解在计算上不可行的问题，产生了特别有希望的性能。然而，现有的深度学习需要大量带注释的数据，对新数据或设置的泛化能力很差。在将科学和工程中的传统方法与现有的数据驱动的深度模型相结合方面，研究界有越来越多的共识。带有科学知识的深度学习探索了经典机制模型和现代深度模型之间的连续统一体。在机器学习领域，将科学知识整合到深度学习(也称为基于物理的机器学习)中，以产生物理上一致的、可解释的预测，并降低数据依赖性的努力越来越多。在下面，我们首先确定科学知识的类型及其表征。然后介绍了将科学知识与深度模型集成的不同方法。
4. 基于经验知识的深度学习
除了科学知识外，经验知识被广泛认为是神经符号模型的主要知识来源。经验知识是指日常生活中众所周知的事实，描述一个对象的语义属性或多个对象之间的语义关系。它通常是直观的，是通过长时间的观察或完善的研究得出的。与科学知识不同，经验知识虽然广泛存在，但具有描述性和不精确性。包含语义信息的经验知识可以作为深度学习中预测任务(如回归或分类任务)的强大先验知识，特别是在小数据环境下，仅训练数据不足以捕获变量之间的关系[65]。
未来智能实验室的主要工作包括：建立AI智能系统智商评测体系，开展世界人工智能智商评测；开展互联网（城市）大脑研究计划，构建互联网（城市）大脑技术和企业图谱，为提升企业，行业与城市的智能水平服务。每日推荐范围未来科技发展趋势的学习型文章。目前线上平台已收藏上千篇精华前沿科技文章和报告。
如果您对实验室的研究感兴趣，欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”
