数据融合

简介

起源

信息融合(information fusion）起初被称为数据融合(data fusion），起源于1973年美国国防部资助开发的声纳信号处理系统，其概念在20世纪70年代就出现在一些文献中。在20世纪90年代，随着信息技术的广泛发展，具有更广义化概念的“信息融合”被提出来。在美国研发成功声纳信号处理系统之后，信息融合技术在军事应用中受到了越来越广泛的青睐。20世纪80年代，为了满足军事领域中作战的需要，多传感器数据融合MSDF (Multi-sensor Data Fusion）技术应运而生。1988年，美国将CI(Command，Control，Commication and Intelligence）系统中的数据融合技术列为国防部重点开发的二十项关键技术之一。由于信息融合技术在海湾战争中表现出的巨大潜力，在战争结束后，美国国防部又在CI系统中加入计算机（computer），开发了以信息融合为中心的CI系统。此外，英国陆军开发了炮兵智能信息融合系统（AIDD）和机动与控制系统 (WAVELL）。欧洲五国还制定了联合开展多传感器信号与知识综合系统（SKIDS）的研究计划。法国也研发了多平台态势感知演示验证系统（TsMPF）。军事领域是信息融合的诞生地，也是信息融合技术应用最为成功的地方。特别是在伊拉克战争和阿富汗战争中，美国军方的信息融合系统都发挥了重要作用。

发展

当前，信息融合技术在军事中的应用研究己经从低层的目标检测、识别和跟踪转向了态势评估和威胁估计等高层应用。20世纪90年代以来，传感器技术和计算机技术的迅速发展大大推动了信息融合技术的研究，信息融合技术的应用领域也从军事迅速扩展到了民用。目前，信息融合技术己在许多民用领域取得成效。这些领域主要包括：机器人和智能仪器系统、智能制造系统、战场任务与无人驾驶飞机、航天应用、目标检测与跟踪、图像分析与理解、惯性导航、模式识别等领域。

编辑本段主要方法

利用多个传感器所获取的关于对象和环境全面、完整信息，主要体现在融合算法上。因此，多传感器系统的核心问题是选择合适的融合算法。对于多传感器系统来说，信息具有多样性和复杂性，因此，对信息融合方法的基本要求是具有鲁棒性和并行处理能力。此外，还有方法的运算速度和精度；与前续预处理系统和后续信息识别系统的接口性能；与不同技术和方法的协调能力；对信息样本的要求等。一般情况下，基于非线性的数学方法，如果它具有容错性、自适应性、联想记忆和并行处理能力，则都可以用来作为融合方法。多传感器数据融合虽然未形成完整的理论体系和有效的融合算法，但在不少应用领域根据各自的具体应用背景，已经提出了许多成熟并且有效的融合方法。

主要模型

近20 年来，人们提出了多种信息融合模型.其共同点或中心思想是在信息融合过程中进行多级处理.现有系统模型大致可以分为两大类：a）功能型模型，主要根据节点顺序构建； b）数据型模型，主要根据数据提取加以构建.在20 世纪80 年代，比较典型的功能型模型主要有U K情报环、Boyd控制回路（OODA 环） ；典型的数据型模型则有JDL 模型. 20 世纪90年代又发展了瀑布模型和Dasarathy模型. 1999 年Mark Bedworth 综合几种模型，提出了一种新的混合模型。下面简单对上述典型模型介绍。

情报环

情报处理包括信息处理和信息融合。目前已有许多情报原则，包括： 中心控制避免情报被复制；实时性确保情报实时应用 ；系统地开发保证系统输出被适当应用 ；保证情报源和处理方式的客观性；信息可达性；情报需求改变时，能够做出响应； 保护信息源不受破坏；对处理过程和情报收集策略不断回顾，随时加以修正. 这些也是该模型的优点，而缺点是应用范围有限。U K 情报环把信息处理作为一个环状结构来描述. 它包括4 个阶段：a) 采集，包括传感器和人工信息源等的初始情报数据；b) 整理，关联并集合相关的情报报告，在此阶段会进行一些数据合并和压缩处理，并将得到的结果进行简单的打包，以便在融合的下一阶段使用；c) 评估，在该阶段融合并分析情报数据，同时分析者还直接给情报采集分派任务；d）分发，在此阶段把融合情报发送给用户通常是军事指挥官，以便决策行动，包括下一步的采集工作。

JDL 模型

1984 年，美国国防部成立了数据融合联合指挥实验室，该实验室提出了他们的JDL 模型，经过逐步改进和推广使用，该模型已成为美国国防信息融合系统的一种实际标准。JDL模型把数据融合分为3 级：第1 级为目标优化、定位和识别目标；第2 级处理为态势评估，根据第 1 级处理提供的信息构建态势图；第3 级处理为威胁评估，根据可能采取的行动来解释第2 级处理结果,并分析采取各种行动的优缺点. 过程优化实际是一个反复过程，可以称为第4 级，它在整个融合过程中监控系统性能，识别增加潜在的信息源，以及传感器的最优部署。其他的辅助支持系统包括数据管理系统存储和检索预处理数据和人机界面等。

Boyd控制环

Boyd 控制环OODA 环，即观测、定向、决策、执行环，它首先应用于军事指挥处理，现在已经大量应用于信息融合。可以看出，Boyd 控制回路使得问题的反馈迭代特性显得十分明显。它包括4 个处理阶段：a) 观测，获取目标信息，相当于JDL 的第1 级和情报环的采集阶段； b) 定向，确定大方向，认清态势，相当于JDL 的第2 级和第3 级，以及情报环的采集和整理阶段；c) 决策，制定反应计划，相当于JDL 的第4 级过程优化和情报环的分发行为，还有诸如后勤管理和计划编制等；d) 行动，执行计划，和上述模型都不相同的是，只有该环节在实用中考虑了决策效能问题。OODA 环的优点是它使各个阶段构成了一个闭环，表明了数据融合的循环性。可以看出，随着融合阶段不断递进，传递到下一级融合阶段的数据量不断减少. 但是OO DA 模型的不足之处在于，决策和执行阶段对OODA 环的其它阶段的影响能力欠缺，并且各个阶段也是顺序执行的。

扩展OODA模型

扩展OODA 模型是加拿大的洛克西德马丁公司开发的一种信息融合系统结构。该种结构已经在加拿大哈利法克斯导弹护卫舰上使用. 该模型综合了上述各种模型的优点，同时又给并发和可能相互影响的信息融合过程提供了一种机理. 用于决策的数据融合系统被分解为一组有意义的高层功能集合例如图4 给出的由N 个功能单元构成的集合，这些功能按照构成OODA 模型的观测、形势分析、决策和执行4 个阶段进行检测评估。每个功能还可以依照OODA 的各个阶段进一步分解和评估. 图4 中标出的节点表示各个功能都与那几个OODA 阶段相关. 例如：功能A 和N 在每个阶段都有分解和评估，而功能B 和C 只与OODA 的部分或单个阶段有关. 该模型具有较好的特性，即环境只在观测阶段给各个功能提供信息输入，而各个功能都依照执行阶段的功能行事。此外，观测、定向和决策阶段的功能仅直接按顺序影响其下各自一阶段的功能，而执行阶段不仅影响环境，而且直接影响OODA 模型中其它各个阶段的瀑布模型。

Dasarathy模型

Dasarathy 模型包括有5 个融合级别，如下表所示。综上可以看到，瀑布模型对底层功能作了明确区分，JDL 模型对中层功能划分清楚，而Boyd 回路则详细解释了高层处理。情报环涵盖了所有处理级别，但是并没有详细描述。而Dasarathy 模型是根据融合任务或功能加以构建，因此可以有效地描述各级融合行为。

输入

输出

描述

数据

数据

数据级融合

数据

特征

特征选择和特征提取

特征

特征

特征级融合

特征

决策

模式识别和模式处理

决策

决策

决策级融合

混合模型

混合模型综合了情报环的循环特性和Boyd 控制回路的反馈迭代特性，同时应用了瀑布模型中的定义，每个定义又都与JDL 和Dasarathy 模型的每个级别相联系. 在混合模型中可以很清楚地看到反馈. 该模型保留了Boyd 控制回路结构，从而明确了信息融合处理中的循环特性，模型中4 个主要处理任务的描述取得了较好的重现精度. 另外，在模型中也较为容易地查找融合行为的发生位置。

主要算法

多传感器数据融合的常用方法基本上可概括为随机和人工智能两大类,随机类算法有加权平均法、卡尔曼滤波法、多贝叶斯估计法、证据推理、产生式规则等；而人工智能类则有模糊逻辑理论、神经网络、粗集理论、专家系统等。可以预见，神经网络和人工智能等新概念、新技术在多传感器数据融合中将起到越来越重要的作用。

几类主要的方法

加权平均法信号级融合方法最简单、最直观方法是加权平均法，该方法将一组传感器提供的冗余信息进行加权平均，结果作为融合值，该方法是一种直接对数据源进行操作的方法。

卡尔曼滤波法卡尔曼滤波主要用于融合低层次实时动态多传感器冗余数据。该方法用测量模型的统计特性递推，决定统计意义下的最优融合和数据估计。如果系统具有线性动力学模型，且系统与传感器的误差符合高斯白噪声模型，则卡尔曼滤波将为融合数据提供唯一统计意义下的最优估计。卡尔曼滤波的递推特性使系统处理不需要大量的数据存储和计算。但是，采用单一的卡尔曼滤波器对多传感器组合系统进行数据统计时，存在很多严重的问题，比如： (1）在组合信息大量冗余的情况下，计算量将以滤波器维数的三次方剧增，实时性不能满足； (2）传感器子系统的增加使故障随之增加，在某一系统出现故障而没有来得及被检测出时，故障会污染整个系统，使可靠性降低。

多贝叶斯估计法贝叶斯估计为数据融合提供了一种手段，是融合静态环境中多传感器高层信息的常用方法。它使传感器信息依据概率原则进行组合，测量不确定性以条件概率表示，当传感器组的观测坐标一致时，可以直接对传感器的数据进行融合，但大多数情况下，传感器测量数据要以间接方式采用贝叶斯估计进行数据融合。多贝叶斯估计将每一个传感器作为一个贝叶斯估计，将各个单独物体的关联概率分布合成一个联合的后验的概率分布函数，通过使用联合分布函数的似然函数为最小，提供多传感器信息的最终融合值，融合信息与环境的一个先验模型提供整个环境的一个特征描述。

证据推理方法证据推理是贝叶斯推理的扩充，其3个基本要点是：基本概率赋值函数、信任函数和似然函数。D-S方法的推理结构是自上而下的，分三级。第1级为目标合成，其作用是把来自独立传感器的观测结果合成为一个总的输出结果（D); 第2级为推断，其作用是获得传感器的观测结果并进行推断，将传感器观测结果扩展成目标报告。这种推理的基础是：一定的传感器报告以某种可信度在逻辑上会产生可信的某些目标报告；第3级为更新，各种传感器一般都存在随机误差,所以，在时间上充分独立地来自同一传感器的一组连续报告比任何单一报告可靠。因此，在推理和多传感器合成之前，要先组合（更新）传感器的观测数据。

产生式规则采用符号表示目标特征和相应传感器信息之间的联系，与每一个规则相联系的置信因子表示它的不确定性程度。当在同一个逻辑推理过程中，2个或多个规则形成一个联合规则时，可以产生融合。应用产生式规则进行融合的主要问题是每个规则的置信因子的定义与系统中其他规则的置信因子相关，如果系统中引入新的传感器，需要加入相应的附加规则。

模糊逻辑是多值逻辑，通过指定一个0到1之间的实数表示真实度，相当于隐含算子的前提，允许将多个传感器信息融合过程中的不确定性直接表示在推理过程中。如果采用某种系统化的方法对融合过程中的不确定性进行推理建模，则可以产生一致性模糊推理。与概率统计方法相比，逻辑推理存在许多优点，它在一定程度上克服了概率论所面临的问题，它对信息的表示和处理更加接近人类的思维方式，它一般比较适合于在高层次上的应用（如决策），但是，逻辑推理本身还不够成熟和系统化。此外，由于逻辑推理对信息的描述存在很大的主观因素，所以，信息的表示和处理缺乏客观性。模糊集合理论对于数据融合的实际价值在于它外延到模糊逻辑，模糊逻辑是一种多值逻辑，隶属度可视为一个数据真值的不精确表示。在MSF过程中，存在的不确定性可以直接用模糊逻辑表示，然后，使用多值逻辑推理，根据模糊集合理论的各种演算对各种命题进行合并，进而实现数据融合。

神经网络具有很强的容错性以及自学习、自组织及自适应能力，能够模拟复杂的非线性映射。神经网络的这些特性和强大的非线性处理能力，恰好满足了多传感器数据融合技术处理的要求。在多传感器系统中，各信息源所提供的环境信息都具有一定程度的不确定性,对这些不确定信息的融合过程实际上是一个不确定性推理过程。神经网络根据当前系统所接受的样本相似性确定分类标准，这种确定方法主要表现在网络的权值分布上，同时，可以采用神经网络特定的学习算法来获取知识，得到不确定性推理机制。利用神经网络的信号处理能力和自动推理功能，即实现了多传感器数据融合。

常用的数据融合方法及特性如表1所示。通常使用的方法依具体的应用而定，并且，由于各种方法之间的互补性，实际上，常将2种或2种以上的方法组合进行多传感器数据融合。

表1　常用的数据融合方法比较[15]

融合方法

运行环境

信息类型

信息表示

不确定性

融合技术

适用范围

加权平均

动态

冗余

原始读数值

 

加权平均

低层数据融合

卡尔曼滤波

动态

冗余

概率分布

高斯噪声

系统模型滤波

低层数据融合

贝叶斯估计

静态

冗余

概率分布

高斯噪声

贝叶斯估计

高层数据融合

统计决策理论

静态

冗余

概率分布

高斯噪声

极值决策

高层数据融合

证据推理

静态

冗余互补

命题

逻辑推理

高层数据融合

 

模糊推理

静态

冗余互补

命题

隶属度

逻辑推理

高层数据融合

神经元网络

动/静态

冗余互补

神经元输入

学习误差

神经元网络

低/高层

产生式规则

动/静态

冗余互补

命题

置信因子

逻辑推理

高层数据融合

研究热点

尽管信息融合在军事领域的地位始终突出，但是随着信息融合技术的发展，其应用领域得以迅速扩展. 信息融合已成为现代信息处理的一种通用工具和思维模式。目前以模糊理论、神经网络、证据推理等为代表的所谓智能方法占有相当大的比例，这或许是因为，这些方法兼有对问题描述的非建模优势和语言化描述与综合优势的原因。从整体上分析，近年来，随着人工智能技术的发展，信息融合技术有朝着智能化、集成化的趋势发展.最新的研究动向包括：

1) 研究并完善实用的算法分类和层次划分方法；

2）研究并发展实用的融合系统测试和评估方法；

3）建立系统设计和算法选择的工程指导方针；

4）编撰信息融合辞典，规范领域术语和定义；

5）发展并完善JDL 模型，以解决现有JDL 所不能处理的多图像融合以及合成传感器（complex meta sensors）等问题；

6）另外分布式信息融合方法也受到越来越多学者的关注。

传统的数据融合是指多传感器的数据在一定准则下加以自动分析、综合以完成所需的决策和 评估而进行的信息处理过程。信息融合最早用于军事领域，定义为一个处理探测、互联、估 计以及组合多源信息和数据的多层次多方面过程，以便获得准确的状态和身份估计、完整而 及时的战场态势和威胁估计。它强调信息融合的三个核心方面：第一，信息融合是在几个层 次上完成对多源信息的处理过程，其中每一层次都表示不同级别的信息抽象；第二，信息融 合包括探测、互联、相关、估计以及信息组合；第三，信息融合的结果包括较低层次上的状 态和身份估计，以及较高层次上的整个战术态势估计。

多传感器数据融合是人类或其他逻辑系统中常见的功能。人非常自然地运用这一能力把来自 人体各个传感器（眼、耳、鼻、四肢）的信息（景物、声音、气味、触觉）组合起来，并使用先 验知识去估计、理解周围环境和正在发生的事件。

随着信息技术的发展和普及，特别是信息网络和信息高速公路的建设和应用，信息获取、综 合分析和处理以及信息应用已经深入各行各业和社会的各个方面，为人们提供决策支持。由 于信息化在各个方面展开，为了综合应用各种信息，需要对各方面的信息技术进行围绕因特网或信息高速公路的融合，以便产生新的增长点和开拓新的领域，不断地进行知识创新。

编辑本段前景展望

信息融合的发展非常迅速，下面几个研究发展方向是值得关注的。

基于Agent的信息融合

在最新一期的Information Fusion是基于 Agent的信息融合的特刊。多Agent技术期望为复杂的工业应用系统、商业系统以及军事系统提供一个新的处理视角。这将会是以后研究的一个热点问题。

Web信息融合

借鉴人脑的工作原理,利用计算机对具有相似或不同特征的多源数据和信息进行处理,为用户提供统一的信息视图和可综合利用的信息。信息融合技术已在生物、经济和军事等领域得到广泛应用。信息融合技术为W eb信息处理提供了新的途径,但其研究成果主要针对结构化数据。现有W eb信息融合研究主要集中在多源W eb信息检索融合。^[1]

编辑本段参考文献

外国书刊

Waltz E,Lilnas J . Multi-sensor data fusion [M ]. Boston: Artech House,2000. 9 - 17.A. Noureldin,A. El-Shafie,M. R. Taha. Optimizing neuron-fuzzy modules for data fusion of vehicular navigation systems using temporal cross-validation. Engineering Applications ofArtificial Intelligence,2007,20(1):49-61P. C. Lin,H. Komsuoglu,D. E.Koditschek. Sensor fusion for body state estimation in a hexapod robot with dynamical gaits. IEEE Transactions on Robotics. 2006,22(5): 932943Zhang,Y. and Q. Ji,Efficient Sensor Selection for Active Information Fusion. IEEE TRANSACTIONS ON SYSTEMS MAN AND CYBERNETICS PART B-CYBERNETICS,2010. 40: p. 719-728.Agaskar,A.,T. He and L. Tong,Distributed Detection of Multi-Hop Information Flows With Fusion Capacity Constraints. IEEE TRANSACTIONS ON SIGNAL PROCESSING,2010. 58: p. 3373-3383.Karantzalos,K. and N. Paragios,Large-Scale Building Reconstruction Through Information Fusion and 3-D Priors. IEEE TRANSACTIONS ON GEOSCIENCE AND REMOTE SENSING,2010. 48: p. 2283-2296.陈森，徐克虎.C4ISR信息融合系统中的态势评估.火力与指挥控制，2006,31(4):5-8高方君.C3I多传感器信息融合系统.火力与指挥控制，2008 33(4): 117-119李新德.多源不完善信息融合方法及其应用研究： [博士学位论文].武汉：华中科技大学图书馆，2007.高健. DSmT信息融合技术及其在机器人地图创建中的应用： [博士学位论文].武汉：华中科技大学图书馆，2007.童利标，漆德宁等. 无线传感器网络与信息融合.安徽人民出版社

Yu,W.,et al.,Distributed Consensus Filtering in Sensor Networks. IEEE TRANSACTIONS ON SYSTEMS MAN AND CYBERNETICS PART B-CYBERNETICS,2009. 39(6): p. 1568-1577.Khan,U.A. and J. Moura,Distributing the Kalman filter for large-scale systems. IEEE TRANSACTIONS ON SIGNAL PROCESSING,2008. 56(10): p. 4919-4935.Jafarizadeh,S.,Fastest Distributed Consensus Problem on Fusion of Two Star Networks. Submitted. 2010.黄心汉.《信息融合》导论 [课件].华中科技大学Mark Bedworth,Jane O’ Brien Jemity. The omnibus model : A new model of data fusion. In :Proceedings of 1999 International Conference on Information Fusion. California,USA :Sunnyvale,1999. 337～345Hannah P,Starr A. Decisions in condition monitoring—An examplar for data fusion architecture. In : Proceedings of 2000 International Conference on Information Fusion. France : Paris,2000. 291～298Carl B Frankel,Mark D Bedworth. Cont rol,estimation and abst raction in fusion architectures : Lessions f rom human information processing. In Proceedings of 2000 International Conference on Information Fusion. France : Paris,2000. 130～137Elisa Shahbazian Dale E,Blodgett Paul Labbé . The extended OODA model for data fusion systems. In Proceedings of 2001 International Conference on Information Fusion. Canada : 2001. 106～112Luo L C,Kay M G. Multisensor integration and fusion for intelligent machines and systems. US :Abbex Publishing Corporation,1995. 321～456赵小川，罗庆生与韩宝玲，机器人多传感器信息融合研究综述. 传感器与微系统，2008(08).潘泉等，信息融合理论的基该方法与进展. 自动化学报，2003(04).张伟龙，郑建彬与詹恩奇，基于信息融合的在线手写签名算法研究. 计算机应用研究，

2010(05).Dasarathy,B.V.,A special issue on agent-based information fusion. Information Fusion,2010. 11(3): p. 215-215.Dasarathy,B.V.,A special issue on agent-based information fusion. Information Fusion,2010. 11(3): p. 215-215.Das,S.,Agent-based information fusion. Information Fusion,2010. 11(3): p. 216-219.Dasarathy,B.V.,A special issue on web information fusion. Information Fusion,2008. 9(4): p. 443-443.Yao,J.,V.V. Raghavan and Z. Wu,Web information fusion. Information Fusion,2008. 9(4): p. 444-445.Yao,J.,V.V. Raghavan and Z. Wu,Web information fusion: A review of the state of the art. Information Fusion,2008. 9(4): p. 446-449.Dasarathy,B.V.,A Special Issue on information fusion in computer security. Information Fusion,2009. 10(4): p. 271-271.Corona,I.,et al.,Information fusion for computer security: State of the art and open issues. Information Fusion,2009. 10(4): p. 274-284.

3）信息融合与信息安全

信息概念

信息现代定义。[2006年，医学信息（杂志），邓宇等].

信息是物质、能量、信息及其属性的标示。逆维纳信息定义

信息是确定性的增加。逆香农信息定义

信息是事物现象及其属性标识的集合。2002年