注册 登录  
 加关注
   显示下一条  |  关闭
温馨提示!由于新浪微博认证机制调整,您的新浪微博帐号绑定已过期,请重新绑定!立即重新绑定新浪微博》  |  关闭

Wei Ding blog

 
 
 

日志

 
 

Karhunen-Loeve Transform (KLT) 原理及PCA应用(转载)  

2013-11-19 22:26:04|  分类: EM |  标签: |举报 |字号 订阅

  下载LOFTER 我的照片书  |
http://blog.csdn.net/abcjennifer/article/details/8074583

Karhunen-Loeve Transform(KLT)是一种数据变换与分析方式,常用于数据压缩和PCA降维。


1. KLT是什么变换,KLT的目的是什么?

KLT是对向量x做的一个正交变换y=Φx,目的是变换到y后去除数据相关性。

PS:其中,Φ是x特征向量组成的矩阵,满足ΦTΦ=I,当x都是实数时,Φ是正交矩阵





2. 为什么说KLT可以去除数据相关性?

用my表示向量y的平均值,y的协方差矩阵记为Σy,通过变换 y=ΦTx,




写成矩阵形式:

由此可见,做了KLT变换之后呢,Σy成为了对角阵,也就是对于任意i≠j,有cov(yi,yj)=0;i=j有cov(yi,yj)=λi,所以说去除了数据相关性。而且,yi的方差与x协方差矩阵的第i个特征值相等,即





3. 如何将KLT用于PCA?


PCA降维可以用于压缩(详见主成分分析的介绍),这里做一个概要:

假设待压缩数据为N维向量x,通过KLT变换压缩成M维信号y(M<N)

  • 找到x的均值Mx和协方差矩阵 Σx
  • 计算 Σx的特征值λi和特征向量φi,并按照λi递减(从大到小)的顺序重新组合,i∈[0,N-1]
  • 根据能量比>=threshold 进行m个主成分的选择
  • 将M个最大特征值对应的特征向量重新组合成N*M的特征向量矩阵 Φm
  • 做KLT变换  y = ΦmTx,形成压缩向量y

  • 逆KLT变换恢复x,x = Φmy






Reference:

1. http://fourier.eng.hmc.edu/e161/lectures/klt/node4.html

2. http://fourier.eng.hmc.edu/e161/lectures/klt/node3.html

  评论这张
 
阅读(295)| 评论(0)
推荐 转载

历史上的今天

在LOFTER的更多文章

评论

<#--最新日志,群博日志--> <#--推荐日志--> <#--引用记录--> <#--博主推荐--> <#--随机阅读--> <#--首页推荐--> <#--历史上的今天--> <#--被推荐日志--> <#--上一篇,下一篇--> <#-- 热度 --> <#-- 网易新闻广告 --> <#--右边模块结构--> <#--评论模块结构--> <#--引用模块结构--> <#--博主发起的投票-->
 
 
 
 
 
 
 
 
 
 
 
 
 
 

页脚

网易公司版权所有 ©1997-2018