显著性检测（二）Spatio-temporal Saliency Detection Using Phase Spectrum of Quaternion Fourier Transform

本文来自2008年的CVPR，是基于上一篇侯晓迪的谱残差法(SR)提出的。在本文中，作者认为SR方法是有问题的，事实上不需要振幅谱，仅利用相位谱就可以获得突出区域的位置，且效果更好，计算量更小，该方法被命名为PFT。此外，通过将每个像素的值表示为一个由强度、颜色和运动特征的四元数，可以将PFT原有的二维傅里叶变换转换为四维傅里叶变换(QFT)，并且由于运动特征的加入，该方法将显著性的应用区域由图像扩展到了视频。

相位谱内涵：对不同信号波形，重建其相位谱，可以得出规律：当输入波形正跳变或负跳变时，输出波形显示为尖端；相反的，当输入波形是固定频率的正弦信号，相位谱中没有波动。与整个波形相比，在水平和垂直方向上具有着很少周期性和同质性的位置就是图像中的显著位置。

PFT算法：该算法使用相位谱来计算显著图。首先给出图像I(x, y)，对其做傅里叶变换得到f(x, y)，然后提取其相位谱，仅使用相位谱做傅里叶反变换，并通过一个高斯平滑滤波器得到显著图。

f(x, y) = F(I(x, y))

p(x, y) = P(f(x, y))

sM(x, y) = g(x, y)*||F-1[eip(x, y)]||2

然后作者比较PFT和SR两种方法得到的结果，发现二者相差甚小，于是得出结论，振幅谱对显著区域的贡献很小。

PQFT算法：PQFT是在PFT的基础上提出的，加入了帧与帧之间的运动特征来得到时空显著图，也就是说，该方法可以用在视频中以检测显著性。

首先要建立一个四元图。定义t时刻的输入图像为F(t)，t为帧数。r(t), g(t), b(t)分别为该图像的红绿蓝通道。四个调整过的颜色通道分别为：

R(t) = r(t) – (g(t) + b(t))/2

G(t) = g(t) – (r(t) + b(t))/2

B(t) = b(t) – (r(t) + g(t))/2

Y(t) = (r(t) + g(t))/2 – |g(t) - r(t)|/2 – b(t)

然后由双色对立原理（见另一篇）可得：

RG(t) = R(t) – G(t)

BY(t) = B(t) – Y(t)

然后就可以得出强度通道和运动通道：

I(t) = (r(t) + g(t) + b(t))/3

M(t) = |I(t) – I(t – τ)|

所以我们总共是得到四个通道：两个颜色通道，一个强度通道，一个运动通道。所以我们将图像表示为四元的：

q(t) = M(t) + RG(t)u1 + BY(t)u2+ I(t)u3

其中u1 u2 u3两两互相垂直，u3 = u1u2且ui……2=-1.

然后改写q(t)：

q(t) = f1(t) + f2(t)u2

f1(t) = M(t) + RG(t)u1

f2(t) = BY(t)+ I(t)u1

对q(t)做四维傅里叶变换(QFT)，通过在傅里叶反变换将图像振幅||Q(t)||设定为1，使其振幅谱失效，最终结果仅使用相位谱来重建q(t)，降低了运算量。最后加一个高斯滤波器来优化结果，得到时空显著图。通过设置运动通道为0，该方法同样适用于图像显著性的检测。



4000