图像奇异值分解SVD 和 EIG求特征向量有什么区别和联系?

图像奇异值分解SVD 和 EIG求特征向量有什么区别和联系?
图像奇异值分解SVD 和 EIG求特征向量有什么区别和联系?

图像奇异值分解SVD 和 EIG求特征向量有什么区别和联系?
变换部分文字
pp概述
原则上,所有图象处理都是图像的变换,而本章所谓的图象变换特指数字图象经过某种数学工具的处理,把原先二维空间域中的数据,变换到另外一个"变换域"形式描述的过程.例如,傅立叶变换将时域或空域信号变换成频域的能量分布描述.
任何图象信号处理都不同程度改变图象信号的频率成分的分布,因此,对信号的频域（变换域）分析和处理是重要的技术手段,而且,有一些在空间域不容易实现的操作,可以在频域（变换域）中简单、方便地完成.
Pp
如上所述,图象变换是将 维空间图象数据变换成另外一组基向量空间（通常是正交向量空间）的坐标参数,我们希望这些离散图象信号坐标参数更集中地代表了图象中的有效信息,或者是更便于达到某种处理目的.下图描述了数字图象处理中空域处理与变换域处理的关系.
pp
图象变换的实质就是将图象从一个空间变换到另一个空间,各种变换的不同之处关键在于变换的基向量不同.以下给出几种不同变换基向量的变换示例.
例如,由直角坐标系变化到极坐标系,见下图
pp
同样,一幅彩色图象可以按照某种准则,分解成若干个基本色彩分量图象的和.
傅立叶变换可以将一维信号从时间域变换到频率域,例如下图,一个正弦信号经过傅立叶变换后,得到它的频率分布零频（直流分量）和基频.
一维傅立叶变换的定义：
一维傅立叶反变换定义：
F(u)包含了正弦和余弦项的无限项的和,u称为频率变量,它的每一个值确定了所对应的正弦-余弦对的频率.
根据尤拉公式

傅立叶变换系数可以写成如下式的复数和极坐标形式:

其中：
傅立叶谱（幅值函数）为
相角为
能量谱为
pp
连续二维函数的傅立叶变换对定义
二维函数的傅立叶正变换
二维函数的傅立叶逆变换
二维函数的傅立叶谱
二维函数的傅立叶变换的相角
二维函数的傅立叶变换的能量谱

pp
2离散傅立叶变换
由于实际问题的时间或空间函数的区间是有限的,或者是频谱有截止频率.至少在横坐标超过一定范围时,函数值已趋于 而可以略去不计.将 和 的有效宽度同样等分为 个小间隔,对连续傅立叶变换进行近似的数值计算,得到离散的傅立叶变换定义.
其中,一维离散傅立叶正变换

一维离散傅立叶逆变换

pp
二维离散傅立叶变换：对于 图象


对于 图象


pp
1.3离散傅立叶变换的性质
性质1：可分离性

二维傅立叶变换可分解成了两个方向的一维变换顺序执行.
pp
性质2：平移性
空间域平移：

频率域平移：

pp
当 时有：


可以简单的用 乘以 将 的傅立叶变换的原点移动到相应 频率方阵的中心.
（图）
pp
性质3：周期性及共轭对称性
离散的傅立叶变换和它的反变换具有周期为 的周期性：

傅立叶变换也存在共轭对称性：

pp
性质4：旋转性质
平面直角坐标改写成极坐标形式：

做代换有：
如果 被旋转 则 被旋转同一角度.即有傅立叶变换对：

pp
（图）
性质5：线性性质
如果：
则有：
pp
性质6： 与图象均值的关系
二维图象灰度均值定义：

而傅立叶变换变换域原点的频谱分量：

所以有：
即 数值 倍于图象灰度均值.
Pp
性质7：图象拉普拉斯算子处理后的傅立叶变换
图象拉普拉斯算子处理的定义：

则图象拉普拉斯算子处理后的傅立叶变换对为：

pp
性质8：卷积与相关定理
卷积定理 一维序列的卷积运算定义为：

当
则有
注意在用傅立叶变换计算卷积时, 由于函数被周期化,为了保证卷积结果正确,计算过程中两个序列长度N1,N2都要补零加长为N1+ N2-1.二维图象序列卷积定理的定义和计算过程与一维情况相同.*为卷积符号.
pp
相关定理：
一维、二维两个离散序列的相关可以写作

则有相关定理

pp
4快速傅立叶变换
由一维傅立叶变换入手,换一种表示方法



pp
定义：

则：
因为：

pp
傅立叶变换的快速计算示意图：
（图）
pp
一维傅立叶变换：

其逆变换为： R
则有：
对于二维情况：

pp
§2离散余弦变换（DCT）
从第一节内容我们可以看到,傅立叶变换是用无穷区间上的复正弦基函数和信号的内积描述信号中总体频率分布,或者是将信号向不同频率变量基函数矢量投影.实际上,基函数可以有其它不同类型,相当于用不同类型基函数去分解信号（图象）.余弦变换是其中常用的一种.
pp
设离散序列 ,为一离散序列,根据下式延拓成偶对称序列 ：

其中 . 是关于 为中心的偶对称序列如下图所示.
（图）
pp
以 代入在 范围内作 点的傅立叶变换：

pp
余弦变换的变换核为：
表示成矩阵形式为：（其中各列模为1）

pp
定义偶余弦变换（EDCT）和逆变换为：


pp
二维余弦变换：

二维余弦变换具有可分离性：

表示成矩阵形式：

pp
余弦变换可以利用傅立叶变换实现：

将 延拓为：
则有：

借助傅立叶变换计算余弦变换的步骤：
1)把 延拓成 ,长度为 ；
2)求 的 点的FFT；
3)对 各项乘上对应的因子 ；
4)取实部,并乘上因子 ；
5)取 的前 项,即为 的余弦变换.
Pp
余弦反变换：
首先延拓 ,
反变换,

pp
§3 正弦变换
一维正弦变换核

一维正弦变换

二维正弦变换核

二维正弦变换

pp
§4 沃尔什-哈达玛变换
沃尔什-哈德玛（Walsh-Hadamard）变换的变换核是一类非正弦的正交函数（Walsh函数）,例如方波或矩形波.与正弦波频率相对应,这种非正弦波形可用"列率"（单位时间内波形通过零点数平均值的一半）描述.Walsh函数可以由Rademacher函数构成,Rademacher函数集是一个不完备的正交函数集,Rademacher函数有两个自变量 和 ,用 表示.

pp
Rademacher函数波形图和矩阵表示
（图）

pp
用Rademacher函数构造沃尔什函数：

其中： 表示 所选用的二进制位数
是Rademacher函数
是 的自然二进制的位序反写后的第 位数字,
例： 用三位二进制码, ,求



pp
（图）
pp
Walsh函数的矩阵形式

其变换核矩阵有递推关系：（直积）



沃尔什-哈达玛变换定义：


一维沃尔什-哈达玛变换可表示成矩阵形式：


pp
例：

二维沃尔什-哈达玛变换：
,
其中 , 阶数相同.

pp
例：


另外有
pp
§5 奇异值分解
基于矩阵奇异值分解的二维酉变换：

任何 矩阵 可以分解成：
和 是正交矩阵, 是矩阵 的特征值.
则：
称为矩阵 的奇异值.
Pp
对矩阵 作奇异值分
令：
则；

是 或 的特征值所构成的对角阵.
矩阵的特征矢量
矩阵的特征矢量
pp
矩阵 可用奇异值分解的级数展开式表示成：

是 矩阵的第 行第 列阵元,即 分别是 矩阵的第 列矢量.
（图）
pp
§6 K_L变换
K_L变换又称为Hotelling变换和主成分分析.
当变量之间存在一定的相关关系时,可以通过原始变量的线性组合,构成为数较少的不相关的新变量代替原始变量,而每个新变量都含有尽量多的原始变量的信息.这种处理问题的方法,叫做主成分分析,新变量叫做原始变量的主成分.例如人脸图象可表示成:
(图)
pp
主成分分析与线性回归的比较:
设有 个观测点 ,散布如图所示,线性回归的问题是要找一条对 个点 的拟合直线 ,使偏差平方和最小.
主成分的基本思想是,先对 个点 求出第一条"最佳"拟合直线,使得这 个点到该直线的垂直距离的平方和最小,并称此直线为第一主成分.然后再求与第一主成分相互独立（或者说垂直）的,且与 个点 的垂直距离平方和最小的第二主成分.
Pp
(图)

有 幅图象 ,大小为 .每幅图象表示成向量：

向量的协方差矩阵定义为：
其中：
令 和 是 的特征向量和对应的特征值.
特征值按减序排列,
变换矩阵的行为 的特征值,则变换矩阵为：

对应第 个特征向量的第 个分量.
K_L变换定义为：
变换后,有：


pp
K_L变换的计算步骤：
1. 求协方差矩阵 ；
2. 求协方差矩阵的特征值 ；
3. 求相应的特征向量
4. 用特征向量 构成变换矩阵 ,求 .
Pp
K-L变换的一种快速算法：
输入图像样本集合为: ,每一个样本图的大小为 , 可以用 维的向量 来表示（即把原图像按行连到一起构成 维向量）.它也可看作 维空间的一个点,称此空间为原始图像空间S.实际上样本图像具有较大的相似性的, 因此,全部样本图象不会
充满整个 维的空间,只是会聚集
在图像空间的一个相对狭小子空间内.
Pp
（图）
样本图象在原始图像空间中的分布

如果以样本图集的总体协方差矩阵为主成分分析的产生矩阵,则所有样本图像的总体协方差矩阵为:

式中, , 是全体样本图像均值. 满足下面的方程

是矩阵 的特征向量, 是对应的特征值.根据主成分分析理论,得到一个从原始图像空间到新特征空间的线性变换 . 是由 的特征向量构成的变换矩阵.
Pp
但是,直接求矩阵 的特征值和特征向量很困难.如果样本图象个数 不太多,可以先计算出 维矩阵 的特征值 和特征向量 .因为

左乘矩阵 ,得

那么 就是矩阵 的特征向量.
Pp

-主成分空间的基.根据主成分分析,可以选择 个较大特征值对应的特征向量（主成分）,构造新的 维主成分空间 .每一幅图象在此空间的投影对应一个 维向量 ,它们就是低维新特征向量（主成分）.
Pp
小结
傅立叶变换（FFT） 具有快速算法,数字图象处理中最常用.需要复数运算.可把整幅图象的信息很好地用若干个系数来表达.
余弦变换（DCT） 有快速算法,只要求实数运算.在相关性图象的处理中,最接近最佳的K_L变换,在实现编码和维纳滤波时有用.同DFT一样,可实现很好的信息压缩.
正弦变换（DST） 比快速DCT快一倍.只需实数运算,可导出快速的K_L变换算法.在实现编码和滤波时有用.具有很好的信息压缩效果好.
沃尔什-哈达玛变换(WHT) 在数字图象处理的硬件实现时有用.容易模拟但很难分析.在图象数据压缩、滤波、编码中有应用.信息压缩效果好.
K_L变换(KLT) 在许多意义下是最佳的.无快速算法.在进行性能评估和寻找最佳性能时有用.对小规模的向量有用,如彩色多谱或其他特征向量.对一组图象集而言,具有均方差意义下最佳的信息压缩效果.
奇异值分解(SVD) 对任何一幅给定的图象而言,具有最佳的信息压缩效果.无快速算法.设计有限冲激响应（FIR）滤波器时,寻找线性方程的最小范数解时有用.潜在的应用是图象恢复,能量估计和数据压缩.
--
那些我爱的人,那些迷失的风,那些永远的誓言一遍一遍,
那些爱我的人,那些沉淀的泪,那些永远的誓言一遍一遍