【CV】图像融合结果评价

###Date: 2018.3.22

==============================================================

简介

　　本篇主要是记录下图像融合结果图像的评价方法。
注：本篇参考书籍：《像素级图像融合方法与应用》

方法介绍

　　一般分为主观和客观两类：
1、主观方法主要是观察者来评价融合结果的质量。
2、客观方法又分为两类：
(1)无参考图像评价方法。
1)单一图像统计特征评价。
2)融合图像和原图像关系评价。
(2)有参考图像评价方法。

无参考图像评价方法

　　1、标准差

　　2、信息熵

L表示图像灰度级别。Pi表示灰度值i像素占总像素比例。E越大表示融合图像信息量越大。

　　3、平均梯度

平均梯度可以敏感的反应图像对微小细节反差表达能力，可用来评价图像模糊程度，G越大图像越清晰。

　　4、空间频率SF

SF越大，融合图像越清晰。

融合图像与源图像关系评价方法\

　　1、互信息之和

　　融合图像与源图像的互信息之和越大，表示融合图像从源图像获取的信息越丰富，融合效果越好。

　　3、联合熵

联合熵越大表示融合图像包含信息越丰富。

　　4、相关系数

f和a分别表示融合图像与源图像的均值。
相关系数越大，表示融合图像从源图像中获取的信息越多，融合效果越好。

有参考图像情况评价

　　1、均方误差RMSE

均方误差越小，表示融合图像和参考图差异越小，融合效果越好。

2、信噪比SNR

这里是假设融合图像与参考图像的差异为噪声。信噪比越好，融合图像越好。

3、参考图像和融合图像信息熵差

4、参考图像和融合图像的互信息MI

图像融合，顾名思义，就是将两张或者多张图像进行某种融合处理，得到一张同时包含被融合图像中重要信息的融合图像。通常情况下，待融合的源图像上应该严格配准，大小相同。

在诸多中不同融合场景和融合方法中，多聚焦图片的融合最能够说明融合的效果和目的。由于焦距选择的问题，照片有可能出现部分清晰部分模糊的情况。融合算法能够极好的将不同图片的清晰部分结合起来，从而得到整体上更好的一个结果。

多聚焦图片1：上半部模糊 
多聚焦图片2：下半部模糊 
融合图像：整体清晰

根据个人理解，图像融合的过程和结果主要受到如下几个方面影响： 

1. 图像融合应用场景 

2. 图像融合方案框架 

3. 图像信息融合规则

下面将对这些方面进行归纳和讨论，由于本系列重点是讨论图像融合客观评价方法，第一章对图像融合的介绍只是作为后续讨论的铺垫，因此将不会对图像融合的技术细节进行讨论。

图像融合应用场景

由于实际应用的需求，图像融合的源图像实际上可以有多种类型。不同种类的源图像具有自身比较独特的性质，因此，图像融合发生的场景将会对图像融合产生较大的影响。现在图像融合应用场景主流的有如下四类：

1.可见光图像——红外图像融合 

红外传感器通常对热效应造成的红外辐射比较敏感，在黑暗或者复杂背景中，能够较好探查发热物体，与此同此，其也经常忽视环境中不发热的背景信息。而可见光传感器能够有效感知环境信息的特性，正好与红外互补。 
可见光图像 
红外图像

2.遥感图像融合 

遥感卫星通常搭载多个种类的传感器，其中有能够接收所可见波段信息的全色传感器，最终得到一个高分辨率的遥感图像。也有对某个波段更为敏感的多光谱传感器（通常这些波段有某些特殊的意义），但是由于光谱能量密度等问题，多光谱图像分辨率通常低于全色图像。因此，将这两类图像进行融合也是十分主流的应用场景。 
多光谱图像 
全色图像

3.多聚焦图像融合 

见导论，此处不进行赘述

4.医学图像融合 

由于存在多种成像技术，综合多种检测结果，来对病人的健康状况进行判断，也是十分重要的。因此，融合多种类医学图像也是常见应用场景。 
医学图像1 
医学图像2

图像融合方案框架

图像融合方案框架现阶段主要有两大类：一类是多尺度分解框架下的融合，一类是稀疏框架下的融合。其中，每类框架又包含有多种不同的方法，除此之外还存在着不同的流程，这些都会极大的影响图像融合的效果。由于该部分内容广泛而且理论难度较大，因此可能出现个人理解上的错误，希望大家指正：

1.多尺度融合

多尺度融合是图像融合领域中，最为经典和成熟的算法体系，其原理和应用得到了非常充足的研究。该方法通过对原始图像进行分解，来从原始图像中提取出图像特征信息（通常是边缘信息），通过对提取出的信息进行对应的操作来达到融合的目的。

根据发展时间线，多尺度分解的算法的进化途径如下：金字塔分解→小波分解→轮廓波分解→剪切波分解。每个大类中存在着诸多不同的算法，其中比较具有代表性的算法如下。
金字塔分解: 高斯金字塔算法，拉普拉斯金字塔算法，比例金字塔算法
小波分解: 离散小波算法，复小波算法，双树式复小波算法等
轮廓波分解: 非下采样轮廓波算法
剪切波分解：非下采样剪切波算法

多尺度分解流程通常如下： 



随着对多尺度融合研究的进行，有更多学者提出了改进的融合流程，这种改进毫无疑问也会使得融合结果出现较大的变化。

2.基于稀疏表达的融合

稀疏融合是近年兴起的新型图像融合方法。算法通过对图片进行学习来构成和优化一个字典，再通过选择合适的字典原子进行融合，最后利用融合后新的字典原子重构融合图像。

基于稀疏的图像融合涉及到字典的提取，字典更新，字典原子选择等问题，其中涉及到优化算法等复杂的问题。限于篇幅问题，本系列暂时不对其进行讨论。读者需要知道的是，基于稀疏表达的图像融合方法也有着不同算法，算法的不同也会使得融合结果出现较大的变化。

图像信息融合规则

如何将提取出的图像信息进行正确的融合也是影响融合结果的重要因素。关于图像信息融合规则的选择，在研究中需要根据具体需求来进行讨论，通常来讲，越是精致的方法效果越是突出，与此同时，其消耗的计算资源也将大幅上升。

融合规则原理上由两部分组成，第一部分是如何度量信息量的多少，第二部分是如何对信息进行融合。

1.信息量的度量： 

- 灰度值大小 

- 梯度大小 

- 基于信息论的衡量方法 

- 其他

2.信息融合的方法： 

- 平均 

- 二者择其大 

- 基于阈值的分段法 

- 其他

参考：
http://blog.csdn.net/u011630458/article/details/52324969 http://blog.csdn.net/hukai20021/article/details/52593584 http://blog.csdn.net/sunboyiris/article/details/21100063 https://download.csdn.net/download/yanyahao/3890170