基于PM扩散的红外焦平面阵列神经网络非均匀校正算法

本算法是基于PM扩散神经网络红外图像非均匀校正的方法，我实现了一下效果还不错
746 电子与信息学报 第35卷 从式(13可以看出求导方程的第1项和第2项-1-1,VEP=+1-,;扩散门限S般采 均含有+Y,-Y-1和-Y,这3个因子。若用自适应估计方法,即当前邻域内梯度的绝对偏差 中值。 (19 +1. E :-Y+=0,则 s-MvY-M(vrD)l/6745 WN(Yi,, k-Yi-1j :+ww(Yi, j,j-1,k:) 式中M为中值滤波。常数的改置是因为0均值和1 (14 方差的正态分布的绝对偏差中值为0.6745 将式(13)中第1项和第2项的相同部分 4k-k可以进行逆推,并令t= (Yk-)合并可以得到关于G;和O,的代 s=cs,=cw和=cF,得到 公式为 2入VyA(1+02+0) GNVNY+Gsvsr+cwVwr+GEVEY k+1 k-7 I+cn+cs+cw+ 1+VY, i 4/s2 可以得到徧徼分迭代方稈为 fi b)Xiii i3k+入+ 2Ayk(1+20+w) 十￠N+Cs+Cw+E +1 1+ (EnvY+ss+Cwvwy+CEVEY)(21) 1+VYi j, k 式中μ般取值为10。由于1+c+cs+c+cE :k) 数值范围为1~5,对比μ值的大小可以忽略,这样 (15)/(1+c+cs+cw+c)为迭代步长,PMNN 其中n一般取值为10于1+17/的计NC的最终偷微分达代方程为 算值大约为几百左右,其与η的乘积近似为常量。 Y1.+1=Yijk 1+CN+Cs+Cw +Ce 所以 PM-NN-NUC的最终梯度下降迭代方程为 (anvY+sVsY +CwwY+CEVEY)(22) (Yi,j.k-fin)X +|;/s2 新模型与PM模型具有相似的偏微分方程形 式,新模型的迭代步长更能精确控訇噪声图像的进 ,h+1 1+vIi k/s 化和还原效果,可与PM算法共同控制无噪图像的 更新,实现了偏微分求解方式的一体化。 (16) PM-NN-NUC算法流程如下(用符号Y和 式中r可设定为106。通过上述推导和分析可见 3k表示校正估计值和PM扩散值) 本文PM扩散止则化项本身就含有神经网络非均匀 1)初始化各探测元的增益系数估计G30和偏 校正的因素,可与神经网络校正算法共同控制校正置系数估计O,0。 系数的更新,真正实现了最陡下降法求解方式的 (2)对于输入噪声图像X利用增益系数Gk 体化 继续求解式(10)关于Y的偏微分方程,得到 和偏置系数O,k计算校正估计值NM 其离散格式为 +O2 aY Ot=A(cNVNY+CsVsr+evRy (3)根据校正估计值γM计算一步PM扩散结 果Y,并作为新算法的最终输出结果,其表达式 (Yk-f,k)(17)为 其中E,S,W和N代衣东南西北4个方向,扩散系 A PM XUC 数c和梯度V可表示为 1+Cn +os +Cw-CE NUC 少-/s) CNVNYij, &: +cs NUC +CwVwri, k+CEVEY (24) (4)当k>maxK(最大迭代次数)或者δ≤5(迭 (18)代终止阈值)时, PM-NN-NUC算法停止迭代,否则 其中VN=F1-,VsP+1-Y,VY=进入步骤(5)。其中迭代误差8定义为 第11期 杨硕等:基于PM扩散的红外焦平面阵列神经网络非均匀校正算法 2747 6-(+-2((2 第4个是结构相似度SSIM( structure similarity) /=1 SSIM(1,)=(1,D)[c(1,J)[(1,J)(30) (5)令PM扩散结果参与期望值f的计算式中,J表小待比较的两幅图像,(),c()和)表 并对k值进行奇偶判断:当k为奇数时,令s=0,示亮度、对比度和结构比较函数,所有参数根据文 g=0;当为偶数时,令ω=0w=0。通过献[14的方法设置,SSIM越接近于1表明处理结果 最陡下降方程佔计增益系数G,A和偏置系数越理想。 O;,b1,返回第(2)步循环上述过程。最陡下降方程 最后个是非均匀性NU(Non- Uniformity): 表达式如下: M A NU (31) i k: X NUCI2 YVMNEE(Y +vY 式中Y;为校正后图像输出灰度,Y,为阵列的空间 响应均值。 1+VY,i k 为了检验PM-NN-NUC算法单帧去噪的能力, 采用了从实际128×128规格 LW MCT IRFPA所采 36)集的1幅图像,场景为室外楼顶处的霓虹灯广告 其中 “源”字及其背后的支架。本文采用传统的NN-NUC. TV-NUC. PDE-NUO和 PM-NN-NUC算法进行实 PM APM ∠PM , ,, +UNYi-1j, k+Ww ri,j-1, A+us YH+1j.k+WE Y :,i+1/ 验,各算法的增益系数和偏移系数初始值为1和0, t UN t wlw t s+ We 最大迭代次数maxK设定为600次,迭代终止阈值 实验结果与分析 选用为实验值2×103。NN-NUC算法的达代步长 选为106, PDE-NUC算法的校非线性扩散的迭代 为了测试算法的有效性,设计了模拟红外图像步长为0.25,迭代步长为10-5,扩散系数为100 和实际红外图像的神经网络校正处理实验,计算机根据卜述5个评价标准进行性能比较。图1给出了 配置为ntel酷容i72670qm,基准频率为2(H,几种算法的校正结果,其中图1(a)为噪声图像,图 4核睿频为28GHz,内存为4G,处理软件平台为 1(b).1(c),1d).1(e)分别是 NN-NUC算法,TV-NUC Matlab R2012(a) 算法, PDE-NUC算法和木文算法迭代100次后的 41PM- NN-NUC的单帧图像校正性能 校正结果,图1(f)是两点定标校正结果。 为了客观地评价校止性能,采用如下评判标准 从图1可以看出,中于NN-NUC算法的期望值 第1个是均方根误差RMSE( Root Mean square为邻域平均,所以随着迭代次数增加,图像出现了 Error 模糊和退化现象:TV-NUC算法校正后图像的边缘 RMSE=N>>0,=x)2(27)得到保图,但是“诉”字部分的纹发生退化,这 是由」TV-NUC算法期望值的计算以线性平均运 式中y,和y表示校正图像和理想图像。RMSF越算为主的缘故。 PDE-NUC算法利用了各向异性扩 小,效果越好 散特性,校正后图像的边缘和纹理保持的很好。但 第2个是信噪比SNR( Signal to Noise ratio):存留了大量的剩余噪声。这是由于校正期望值主要 SNR=∑∑Y/RMSE2 取决于非线性滤波的结果,·旦非线性滤波效果不 好,直接影响整幅图像的校正质量。而木文提出的 SNR用于衡量图像质量高低,降噪效果越好,则新算法经过多次迭代,“源”字的质感依然存在,旁 SNR越人 边的栏杆也清晰可见。校正后图像的剩余噪声最少, 第3个是图像佳数FOM( Figure Of Merit:这是由于新算法中校正和打散过程是交替进行,护 散系数和迭代步长又是自适应调整的,所以校正效 FOM= 1+ 果要优于其它几种算法。 式中N,和N2表示检测边缘和理想边缘点数,d2表 图2为不同方法进行100次迭代后所得到的 示第i个检测边缘与最近的理想边缘之间的欧氏距RMSE曲线,以两点校正后的图像作为参考的理想 离,ε为常数。FOM越接近于1表明检测到边缘越图像,如图1f)所示。可以看出本文提出的算法只 丑想。 经过二十多次迭代就基本达到稳定,且对应的 2748 电子与信息学报 第35卷 s出 (a)原始图像 (bNN-NUC c)TV-NUC (OIPDE-NUC (O)PM-N\-NLC (门两点定标校正 图1单帧红外图像校正结耒比较 RMSE也最小,校正后的图像与真实图像最接近。最不理想。所以 PM-NN-NUC算法的校正效果最 利用信噪比SNR来量化对比不同校止方法经100次好。 迭代后的校正效果。实验结果如图3所示,木文提42 PM-NN-NUC的多帧图像抑制鬼影性能 出的算法校正后图像对应的SNR佶最大,因此校正 为了描述 NN-NUC算法中引起鬼影的原因,本 效果最好。 文采用另外一组来用 Hgcdte长波IFPA所采集 表1为各算法的FOM,SSIM和NU参数性能的200帧红外图像序列进行试验,场景内容是室外 比较,依然以两点校正后的图像作为参考的理想图大空冷背景下的飞机目标。图4为 NN-NUC算法中 边缘点(64,59)的偏移校正系数。可以看出,偏移校 像。比较结果表明本文提出的新算法边缘保留程度正系数在第120帧图像处发牛了明显的异常。图5 最高,与理想图像的结构最相似。NN-NUC算法的为第120咴原始图像和 NN-NUC算法校正后图像 剩余非均匀性最低,但是其校正后的图像整体模糊,从图5(b)上可以看出校正后图像上存在鬼影。 表1红外图像校正结果的FOM,SIM和NU参数性能比较 原始图像 NN-NUC TV-NUC PDE-NUC PM-NN-NLC FOM 0.42 0.56 0.62 SSIM 0.61 1.57 1.0 4) 0 0.6 2 0,2 0.2 403 2)4C 10 0 04083120160200 选代次数 迭代次数 桢数 P\nN-NUC+ TV-NUC HNN-NUC 0- PDE-NUC NN-NUC -D- PDENUC 图2儿种算法的RMSE比较 图3川种算法的SN比较 图4 NN-NUC算法中边缘点 (641,59)的偏置校正系数 第11期 杨硕等:基于PM扩散的红外焦平面阵列神经网络非均匀校正算法 2749 图7为新算法中像素(64,59处得到的偏移校止 系数。偏移校正系数在第120帧图像处无异常变化。 最后比较NN-NUC, TV-NUC, PDE-NUC和 PM-NN-NUC算法的去鬼影效果。都采用像素(64 59处偏置系数的时域变化米衡量上述4种算法的去 鬼影能力。其比较结果如图8和图9所示,不具有 去鬼影能力的 NN-NUC算法的偏置系数更新至100 a)原始图像 ( bJN NLC校正后图像 帧左右时校正系数发生异常跳跃,从而产生鬼影。 而其它具有去除鬼影能力的算法各自偏置系数的更 图5红外图像的鬼影实验 新相对比较平稳,没有发生异常更新,因此在一定 为了说明新算法 PM-NN-NUC具有抑制鬼影 程度上抑制了鬼影产生。其中 PDE-NUC和PM NN-NUC算法的偏置系数在100帧左右时变化相对 的能力,本节对新算法在边缘像素(64,59)处的相关 史加屮稳,也进一步说明了扩散系数对边缘区域的 计算进行了分析取第100帧校正后图像中像素(64 滤波处理控制的更好。 59)为中心的3×3区域,如图6(a所示。图6(b)为 中心像素与邻域各像素之间的灰度差值。各向异性 总结 扩散扩散系数控制扩散滤波处理,使得具有较人 本文提出了·种基于PM模型的神经网络非均 梯度值的边缘位置停止扩散,避免异常校正。图6(c)匀校正算法( PM-NN-NUC),建立了关于非均匀校 给出了新算法在(6459)处计算得到的北、南、西、正的极小化模型。通过对新模型的最陡下降方程和 东4个方向上的扩散系数,其中扩散门限为50。通偏微分方程的推导和分析,得出了PMNN-NUC算 过图6()可以看出由于像素(64,59)的扩散系数非常法中存在着神经网络校正和PM扩散在滤泼过程相 小,儿乎不会产生迭代更新,所以该边缘点滤波后似性的结论。不仪直接用于产生神经网络校正的期 能保留下来 望值,还作用于计算迭代步长,而校正系数又反作 302 5 763 000245 0.00635 1003.3 b 03.0025s0 (e)像素(4,59处:×区域 (b)中心像素与邻域灰度差值 cH4个方向的扩散系数 图6边缘像素(64,59)的计算分析 400 4 0 400 0120160200 0 060120160200 帧数 帧数 PAN-NUC→ TV.NUC N\NCC D PDE-NUC 图7PMNN-NUC算法中点(64,59)的偏置校正系数 图8儿种算法对像素(64,59)的时域偏置校正系数 2750 电子与信息学报 第35卷 Eao=Ba=心 a) \A-NUC校后图像 ( byTV-NtC校正后图像 (c) PDE-NUC校正后图像 ( dPN-NN-NUC校正后图像 图9几种算法去鬼影能力的比较 用于PM的扩散过程,貞正地实现了PM扩散和神 Sang Hong-shi, Yuan Ya-jing, and Zhang Tian-xu. Non 经网络校正一体化。通过对实际非均匀性红外图像 uniformity correction af infrared focal plane array based on 进行校正实骏,证明新模型可以有效地抑訇非均匀 motion guidance[J. Journal of Image and Graphics, 2011 169):1577-1582 噪声和伪像产生。 9 Vera. Fi, Meza P, and Torres S. Total variation approach f 参考文献 adaptive non uniformity correction in focal-plane arrays[J 1]卢光林,李闰龙,李涛,等.基于全变分理论的红外图像去噪 10]张犬序,袁雅婧,桑红白,等.基于PDE去鬼影的自适应非 J光技术,2012,36(2:194-197 均匀性校正算法研究J.红外与毫米波学报,2012,31(2 Lu Zhao-lin, Li Run-long, Li Tao, et al.. Infrared image 177-1×2. denoising based on total variation theory. Laser Zhang Tian-xu. Yuan Ya-jing, Sang Ilong-shi, et al technology,2012,36(2):194-197 PDE-based deghosting algorithm for correction of 2洪闻青,杨南生,王晓东,等,红外焦平面联合非均匀性校正 nonuniformity in infrared focal plane array. Journal of 算法J.光学学报,2011,31(61:81-86 Infrared and Millimeter Waves, 2012, 31(2): 177-1 ong wen-ning, ang an-Sheng, ang Xian-dong, et n1l王炳健,拜丽萍,刘上乾,红外焦平面非均匀性自应校正算 Combined nonuniformity correction algorithm of infrared 法实时实现门.中匡电子科学研究院学报,208,3(2 focal plane arrays[J]. Acta Optica Sinica, 2011, 31(6): 81-86 174-176 3 Harris J G and Chiang Y M. Nonuniformity correction of Wang Bing-jiaIl, Bai Li-pirg, and Liu Shang-qian. Adaptive infrared image sequences using the constant-statistics non-uniformity algorithm real-time constraint[J]. IEEE Transactions on Image Proccssing, 1999 implementation for IRFPA J. Journal of China Academy of 8(8):11481151 Electronics ond Infornation Teclenolag y, 2008, 3(2): 174-176 ady K A. Kruer M R, et al. Adaptive (12 Perona P and Malik J Scale-space and edge detection using nonuniformity correction for IR focal planc arrays using anisotropic diffusion[J]. IE'E't' Transactions on Pattern enra.I networks[C. International Society for Optics and Analysis and Machirie Intelligence, 1990, 12(7): 629-639 Photonics, San diego, CA. USA, 1991: 100-109 13 Yu Y and Acton S T. Speckle reducing anisotropic 5 Vera E and Torres S. Fast adaptive nonuniformity correctio diffusion. TFEE Tran. sect..s an Image Processing, 2002 for infrared focal-plane array detectors. EURAsIPJJournal 11(11):1260-1270 on Applied in Signal Processing, 2005(13): 1994 6施长城,张天序,刘慧娜,等,一科红外焦平面非均匀性组合14韩园强,李永祯,王雪松,等基于修正 SSTM HJ SAR T扰效 校正算法红外与毫米波学报,2010,29(1):2326 果评佔方法小电子与信息学报,2011.33(3:711-716 Li Yong-zhen, Wang Xue-song, et al Shi Chang-cheng, Zhang Tian-xu, Liu Hui-na, et al Combinational algorithm for nonuniformity correction of Evaluation of jamming effect on Sar based on method of nfrared focal plane array J. Journal of Infrared and modified structural similarity. Journal of Electronics Millimeter Waves, 2010, 29(1): 23-26 nformation Technology. 2011, 33(3): 711-716 7]刘秀、徐超,金伟其,等.基于帧间运动的神经网络非均匀性 校正及其硬件实现「.北京理工大学学报,2010,301:硕:男,19s3年生,博士,研究方向为红外图像预处理、包 括图像的非均匀校正和增强等技术 Liu xiu,. Xu Chao, Jin Wei-ai,etal. Neural network赵保军:男,190年生,教授,博士生导师,研究方向为多光谱 non-uniformity correction by means of frames motion 图像融合、识別与跟踪的埋论与技术;高分辨图像实时 on and its hardware implementation. Tmnsactions 压缩、恢复与传输的理论与技术;智能图像处理的珪论 of Beijing Institate of Technology, 2010, 30(11): 1331-1335 与技术:激光成像与识別的堐论与技术 8桑红石,雅靖,张天序.基于运动指导的红外焦平面非均匀唐林波:男,1978年生,讲师,硕士生导师,研究方向为高速数 性校正方法门中国图象图形学报,2011,169):15771582 字信号处理与图像处理