统计信号处理学习总结

一个统计与自适应信号处理的学习总结，不再赘述，自己看把
这个模型被称为谐波过程模型。 下面给定一个独立的、同分布的观察序列,我们可以用的值的线性组合建立 个相关观察的时间序列 如下式所小: x(n) ∑ h(kw(n-k) 该模型便是得到广泛应用的线性随机信号模型。该模型是线性时不变系统,其冲激响应 决定了模型的记忆,因此也就决定了输岀的相关性质。通过适当的选择,我们可 以生成具有几乎任何类型相关性的时间序列。 除此之外,有理式或极点一零点模型,如 还有分数极 点一零点模型和分形模犁(暂不懂) 从实用的角度看,我们对含参数模型最感兴趣,含参数模型采取一个完全由有限个参数 确定的函数形式,线性含参数模型更好。 个好的模型应具有如下特性:()模型参数个数应该尽可能的少;()根据模型对模 型参数的估计应该比较容易:()模型参数应该具有物理意义。 信号建模包括一下几步:()恰当选择模型;()选择正确的参数个数;()使模型适 合实际数据;()测试模型,看模型是否满足用户特殊应用的要求 自适应滤波 传统的有固定系数的频率选择性数字滤波器,有一个特定的响应以希望的方式改变输入 信号的频谱,它们的关键特征如下: ()滤波器线性时不变 )设计过程用到希望的通带、转换波段、通带波纹和阻带衰减。我们无需知道要处 理信号的采样值。 ()因为滤波器是频率选择性的,所以当输入信号的各个部分占据不重叠频带时,滤 波器工作得最好。 ()滤波器系数在设计阶段选定,并在滤波器的正常运行中保持不变。 自适应滤波器的显著特征是:它在上作过程中不需用户的预就能改变响应以改善性能。 自适应滤波器的主要应用范闱:系统识别、系统求逆、信号预测(编码)、多传感器 干扰抵消(主动噪声控制) 自适应滤波器的基木要素 期望信号 输入信号 滤波结构 + 自适应 误差信号 算法 先验知识 性能标准 仅用于设计阶段 ()滤波结构:这个模块使用输入信号的测量值产生滤波器的输出。其结构由设计者 设定,参数由自适应算法调整; ()性能标准:自适应滤波器的输出和期望响应(当可获得时)由模块处理,并 参照特定应用的需要来评佔它的质量 )自适应算法:自适应算法使用性能标准函数的数值或它的函薮、输入的测量值 期望的响应值来决定如何修改滤波器的参数,以改善性能。 每个自适应滤波应用涉及个或多个输入信号和个期望响应信号,这个响应信号对 自适应滤波器来说可能得到也可能得不到,我们统称这些有关信号为自适应滤波器的信号工 作环境()。根据期望响应信号的可得性,我们区分监督型、无监督型自适应滤波器。设 计仼何自适应滤波器,都需要知道关于的大量的先验信息和对特定应用的深刻理解。不 可靠的先验信息或关于的不正确假设,都可能导致自适应滤波性能的严重下降,甚至失 败 陈列处理(见后) 第二章离散时间信号处理 章主要参考教材,分别复习了离散时间信号、确定性信号的变换域分析、离散时 间系统、最小相位系统和系统的可逆性、格型滤波器实现。 其中,最小相位系统和系统的可逆性、格型滤波器实现还需进一步研究 第三章随机变量、矢量和序列 关于随机变量、随机矢量、随机过程的讨论与其他书籍类似,如下仅为一些与本书相 关的特别之处。 随机过程的易变性 线性时不变系统的二阶矩的稳定随机序列 时域 频域 域 y(n)=h(n)*x(n) rvx(=h)*r R、(el R(z=h(zr,(z rxy()=h(-1)*r2() Rxv(ejo)=heI rx(ejo Rxy(z=h"(1/ZRx(z ry) h(I)*Ixy Ryejo)=h(ej )Rxy (ejo Ry(Z)=H(ZRx(z ry(=h(*h(D)* Ry (el)=H(cio h (e Rx((e) Ry (Z)=H(Z)H(1/Z")Rx(Z 随机信号的记忆性 对于方差有限的过程,相关长度的定义如下 0) ()=)p2() =0 它等于在标准的自相关序列曲线下的面积,这表明了两个显著相关的样本之间的最大距 离,其中,)=2=1x(n)x(n N=0|x(n)|2 为时间序列的采样的自相关的估计。 过程是没有记忆的,因此完全可以由它的一阶密度米措述,给出一个“零记忆”过程 ω(n)~ID(0,8a)。线性的过程具有记忆特性,它是由生成系统的脉冲响应引起的,即 rx()=82rn(1)。 相关矩阵的一些性质 随机矢量的相关矩阵是共轭对称的或者叫厄米特共轭( ),即Rx=R; 随机矢量的相关矩阵是非负定的; 假定矩阵Rx是厄米特的和非负定的,它的特征值和特行失量分别为A增1和q1, 矩阵R( )特征值为入 假如特征根是互不相同的,那么相应的特征矢量q;1就是线性狙立的 特征根11是实的和非负的 假如特征根入是互不相同的,那么相应的特征矢量就是相互正交的,也就是 A≠→qHq1=0i≠ 假定{q1}1是特征矢量的个止交组,这些特征矢量与×的相关矩阵R的不同特 征值入1相对应,那么矩阵Rx可以出下式表示 ∧=QRQ 这里止交矩阳Q≌q1…qM,A是×的对角阵,可以用下式来衣示: ∧-diag(λ1…,λM) 随机过程的相关矩阵 个随机过程可以用一个随机矢量来表示,它的二阶统计量可以由均值矢量和相关矩阵 给出。很显然,这些量是指数的函数。设随机过程导出导出的一个×阶的随机矢量 表示如下 x(n)[x(n)x(n-1)…x(n-M+1) 它的均值可以由个×阶的矢量来表示: x(n)2[2(n)2n-1)…x(n-M+1)]T 相关可由×阶的矩阵来表示 rx(n,n) rx(n, n-M+1) Rx(n)=[ rx(n-M+ 1, rx(n-M+1,n-M+1) 很显然,Rx(n)是一个厄米特矩阵,因为rx(n-i,n-j)=rx(n-j,n-1),0≤ij≤M 平稳随机过程的相关矩阵 对」平稳过程来讲,这个矩阵的结构是有趣的。首先,R2(n)是一个常量矩阵Rx,即自相 关函数与时间无关,也即r2(n-i,n-j)=r2(j-i)=r2(j-)。容易看出,Rx是厄米特和 托普利兹知阵。通常矩阵Rx不是全对称矩阵,因为主反对角线上的元素一般不相等 矩阵R2的性质随它的条件指数x(Rx)=m/入的升高而变得恶劣 随机矢量的更新表示 诈多实践和理论应用中,希望用不相关的分量组成线性等价的矢量(或者序列)来措述 个随机矢量(或者序列)。如果是一个相关随机矢量,是一个非奇异矩阵,那么由下面 的线性变换: 生成一个随机矢量,该随机矢量包含与随机矢量相同的信息,因此说随机矢量Ⅹ和 W是线性等价的。进一步讲,如果W是非相关的随机矢量,那么W的每个分量可以认为是对o 的原有分量信息的补充(或更新)。这样一种表示称为更新表示,它使得对所研究的随机矢量 和序列有了更进一步的了解。 由于必须是一个对角矩阵,因此我们需要用变换矩阵米对角化厄米特、正定的矩阵 常见的对角化的方法有两种:()特征根分析,也就是著名的 变换; ()三角变换,用它可以进行 和 分解。现综述如下,具体的推导和几何 解释见 表零均值随机矢量下正交和三角变换的比较 正交变换 角变换 X Rq;=入q Q=[. 9M 单位下三角矩阵 A=diag{A1λ2…2M} D=diag{1E2…5M} R=0AQ"=∑入qq L-IRL R1=LHD 1 A=QRQ D-1=LHR-IL 1 R-1=QA-1QH qi q detr= det d=|5i A=QRIQ detr= det a trr= tr a i=1 白化(无关联) 白化(关联 QX L-IX H Wn A W H D 具有给定阶矩的实数随机矢量的生成 假定我们想要生成只有零均值、对称且正定的自相关矩阵Rx的实值随机矢量的个样 本,x1x2…,xM。上一节所给出的更新表示法提供了生成这样一个随机矢量的三种方法。一般 方法是分解Rx,用正交或者三角变换来获得对角知阵(Ax或D或D),用得剑的对角线上 的元素作为序列的方差,生成一个序列的个样本,然后,用逆变换矩阵(Q或Lx或Ux)对 这些样本徴变换。需要补充说明的是,通常样本的原始分布不一定会被俣持不变,除非样 本是联合正态的。因此下面的讨论中,我们假设用一个正态的伪随机数生成器米生成的 个独立样本。三种方法如下所述 )特征根分解方法首先分解成R=QAQ,然后用分布A来生成,最后用 来计算想要的 ()三角分解过程首先可以被分解成DLLH,然后用分布D1来牛成 最后用 来计算想要的 ()三角解析过程首先可以表示成D1UH,然后用分布Du来生成 最后用 米计算想要的 估计理论原理 个平稳序列的观察值81,我们对其均值的估计如下: n=0 对其方差的估计为 2)-32 第四章线性信号模型 本章介绍并分析一类特殊平稳随机序列的性质,这种序列是用白噪声激励一个线性时不 变系统产生的。我们着重讲述系统数为有理数,即两个多项式之比的滤波器。这样得到的 输出过程的功率谱密度也是有理的,它的形状完全由滤波器系数决定。当我们想强调系统观 点时使用术语“极点一零点模型”,用术语“自回归滑动平均模型”指得到的随机序列 在实际中,我们也需要产生某种已知的具有二阶特征的随机信号,或需要据已知随机过 程的参数描述观察到的信号。 最简单的随机信号模型是具有不相关特性和平坦 的广义平稳白噪声序列 o)(n)~WN(O,o2),在实际中使用简单的算法就能比较容易的生成它。如果我们用一个稳定的 滤波器滤波包噪声,就能得到有儿乎仼意随机非周期相关结构或连续的随机信号。 当滤波器由它的冲击相应指定时,因为关于模型的形式没有仟何限制,且参数个数是 可以无限的,所以就有了一个无参数模型。但是,如果我们通过一个有限阶有理系统函数指 定一个系统,就有了一个由有限个参数描述的有参数信号模型。本章亘点讲解有参数模型。 这一章主要讲两个主题:()已知系统函数的系数,导出 或系统;()设计一个 能生成具有给定自相关序列或函数的随机信号的 或系统。 上述第二个问题称为信号建模。在实际应用中,将建模的信号的二阶矩无法预先知道, 必须从一组对信号的观测中估计。 线性无参数信号模型 考虑一个稳定的冲激响应为输入为ω(n)的系统。输出由下面的卷积和给出: h(k)o(n-k) 因为此时输出是通过线性加权输入信号的采样计算待到的,所以称为非递归系统表小法。 线性随机信号模型 如果输入o(n)是方差为a2、自相关函数ro(1)=o26(1)和R(eo)=a3,-m≤o≤ 的均值为零的白噪声过程。 那么,的自相关函数、复数和分别由下列等式给出: h(k)h(k-1)=or(D Rx(Z=OH(Z)H*( Rx(ei)=odeh(ejo) 我们注意到,当输入是一个白噪声过程时,输出信号的自相关函数和功率谱(二阶矩) 的形状完仝由系统确定。 递归表示法 假定现在逆系给()=1/H7是因果和稳定的。如果我们假定,不失一般性, 那么h1(n)=Z1田H1(Z)},有h1(0)=1。因此输入o(n)可由下式得到 n)=x(n)+2h(k)x(n-k) 解出,我们得到输山信号的递归衣示法: h,(k)(n-k)to(n) 我们用术语“递归”表示法来强调:输出的当前值通过所有过去输出值的线性组合,加 上输出的当前值得到。结构上,系统的非递归和递归表示法是等价的,即输入相同激励时 它们产生相同的输出 更新表示法 如果系统是最小相位的,那么和h1(n)都是因果的和稳定的。因此,输出信号可 由下列非递归地表示: h(k)w(n-k)=>h(n-k)o(k) k=-∞ x(n+1)=〉h(n+1-k)(k)+(n+1) x(n+1)=〉h(n+1-k)),h1(k-)x()+o(n+1) 仔细检查上式发现,如果产生的系统是最小相位的,那么由采样携带的所有新 的信息是由采样o(n+1)带来的。从信号的过去采样 可以预测所有其他信息。这 里我们强调只有是最小相位时,这个解释才成立。 系统通过在白噪声输入ω(n)中引进相关关系来产生信号,称为综合或有色滤波 器。相反,逆系统H(∽可用于恢复输入ω(n),称为分析或白化滤波器。在这个意义上,更新 滤波器和输出过程是完全相等的。综合和分析滤波器图小如下: u(n)lID(0,04) H(2 XIn 宗合或色化滤波器 H1(2=/H(z u(m).分析或白化滤波器 有参极点一零点信号模型 有参模型描述一个具有有限个参数的系统,本书主要处理具有有理系统函数的有参模型 考虑一个由下列线性常系数差分方程描述的系统 x(n)+> akx(n-k)=>dk o(n-k) 这里,和ω(n)分别是输入信号和输出信号。两边取变换,我们发现系统函数是: X(Z) W()-1+E12kD(Z dZ H Z AG 根据系统的极点零点,我们能接下式 H(Z)=do (1- T=1(1-p 这个系统有个零点z和个极点pk(这里不考虑的极点零点) 系数d是系统增益。本书剩余部分都假设多项式和没有共同根,即共同的零点 和极点已经被消掉了。 极点一零点模型的类型 对于 ,我们有一个板点一零点模型,由于 表示。如果系统假定为因果 的,它的输出由卜式给出: x(n)= ak X(n-k)+>dko(n-k) 对于,我们有一个极点一零点模型,由于表示。如果系统假定为因果的,它的 输出由下式给出 x(n)=〉dko(n-k 对于,我们有一个极点一零点模型,由于表示。如果系统假定为因果的,它的 输出由下式给出: kx(n-k)tdoa(n) 如果白噪声激励一个有参模型,会得到一个阶矩由模型的参数决定的信号。如果 o(n)~ID(0,02)有有限方差,那么 r()=o2r1()=o2h()*h(- Rx(a=oRh(z)=oH(ZH*(1/Z%) Rx(ejo)=orh (ejo)=o2H(ej H"(eja) 这样的信号模型有很大的实际用处,且在统计学文献中有专用的名字: 称为移动平均模型,表示为 () 称为自递归模型,表小为 () 称为自递归移动平均模型,表示为 我们通过归化d和设输入的方差σ指定个有参信号模型。模型的参数定义为 a1,a2灬…,ap;d1,…,do;od}这些模犁假定结果过程是平稳的,只要对应系统是稳定的, 这是可以保证的。 混合过程的 分解 个任意的平稳随机过程可构造成一个连续R(eo)和一个离散功率谱。这样的过程 称为混合过程,因为连续的R(e)应归功于规则过程,而离散频谱应以因于谐波过程(或 几乎周期性)过程。混合过程的进一步解释:第一部分是一个不可预测过程,而第二个部分 是可预测过程(即过去的釆样可以用来准确的确定未米采样),这个解释应归功于 分解 定理。 Wold分解 一般的平稳随机过程能写成如下和的形式 x(n)=x(n)+x,(n) 这里,x(n)是一个有连续频谱的规则过程,xp(n)是一个离散频谱的可预测过程。而且 xr(n)与xp(n)是相互正交的,即 E(x(n2)xp'(n2)=0n1,n2取任意值 第九章信号建模和参量谱估计 本章是从理论到实际的过渡,其第步模型选择|选泽模型 重点是:对给出的一组数据选择一个 阶次和结构 合适的模型、估计模型参数、模型与 数据事实上在多大程度上相匹配。虽 然参数估计技术的发展需要一个坚实第二步模型估计模型参数 估计 的理论基础,一个好模型的选择以及 对它的评估需要使用者有充分的实际 经验并熟悉该应用领域。这里用最小 二乘技术给出了使极点一零点模型和第三步模型确认检查备选 数据匹配的全面而详细的算法 模型性能 信号建模和作为结果的参量谱佔 计的实质是:当给定了有限长数据 区x()别m=0时,它可以被认为是考虑中 的信号序列的采样,这是我们想估计 模型是合 雪 出信号模型参数{a、{、σ以 满足 满足预先制定的标准。这些模型建立 的主要步骤如右图所示 模型选择、模型估计与模型检验 见教材 采用此模型 作为应用