开云-【VISION GUIDE

【VISION GUIDE - 25】常见的ISP图象去噪 时候：2024-12-13 21:23:28 手机看文章

扫描二维码随时随地手机看文章

ISP之图象去噪

噪声，是Sensor成像进程中没法遁藏的“粉碎份子”，若不进行得当处置，不但会影响图象的质量，也会影响视觉感知等使命的切确度。是以，ISP中的图象去噪模块便应运而生，对图象的终究质量发生了举足轻重的影响。

噪声的来历

Sensor的输入是光子，输出的是数字旌旗灯号，中心颠末了光电转换、电子积累、电压量化的进程。而在这些进程中，有着林林总总的身分，这些身分在旌旗灯号转换的进程中引入了噪声。举例来讲，光电转换中，光子的量子特征会引入泊松噪声，电压读出时，会引入CMOS电路的热噪声，电压量化中，也会引入ADC的量化噪声。现有的CMOS传感器没法避免地引入了这些噪声，是以需要去噪模块进行按捺。

图象去噪示意图 2DNR

2DNR即空域降噪，不触及时域信息。传统的2DNR包括空间域、变换域等一系列方式，可以在ISP pipeline的RAW域、RGB域、YUV域履行，方式与色域的选择取决在具体的噪声散布与图象质量需求。以以下举几个在ISP芯片中较为经常使用的2DNR方式：

NLM

Non-local mean初次提出操纵图象的非局部自类似性进行去噪，其焦点思惟是操纵图象中的类似块进行去噪，对每个输入像素，在给定的Search Window中履行类似度计较，获得像素权重，终究履行滤波。NLM算法在机能与面积上到达了较好的均衡，是以很多厂商城市选择利用这一算法和其变种算法。

图2：NLM（RAW域），类似块（5 * 5）、滑窗（17 * 17）示意图 小波阈值

小波阈值算法附属在变换域算法，小波变换是图象处置中常常采取的方式，选定适合的小波基与分化层数，可以定位到图象的分歧频段，从而对分歧频段的噪声进行针对性的处置。因为噪声首要散布在高频，小波阈值算法首要是对图象的高频份量履行阈值处置。

图3：小波阈值算法（2层）示意图 BM3D

BM3D连系了空间域与变换域算法的长处，分为初始估量与终究估量两个阶段，协同类似块匹配、3D频域变换、阈值处置、维纳滤波等操作，终究聚合获得去噪图象。BM3D算法在传统算法中有着很高的地位，其结果比拟前面两种方式更好，可是因为它的算法复杂度高、硬件实现价格年夜，是以现实ISP芯片中利用得反而没有那末多。

图4：BM3D算法示意图 3DNR

3DNR在2DNR的根本上插手了时域信息，连系当前帧与汗青帧的信息进行处置。因为信息量的增添，3DNR算法可以或许获得比2DNR算法更好的结果，在一些2DNR难以阐扬感化的场景，如暗光场景下，3DNR的主要性更加显著。此处以一个较为简单的3DNR算法为例，扼要介绍其道理。3DNR算法触及活动估量，简单的，如示意图中的算法，采取帧差法来判定像素是不是处在活动区域，复杂的，则可以操纵光流等信息，来进一步优化3DNR的结果。示意图中的算法还结合了噪声估量，将图象分区，低噪声、活动的区域，当前帧权重年夜，高噪声、静止的区域，汗青帧权重年夜。斟酌到3DNR需要与DDR进行交互，对高分辩率的场景而言，会占用很高的DDR带宽，是以也会斟酌对图象进行紧缩后，再存入DDR。固然，3DNR虽好，但也可能存在活动噪声、鬼影、拖影等问题，需要连系机能与硬件开消进行trade off，打磨出最合适需求的算法。

图5：一种3DNR算法示意图 结语

本文介绍了ISP中的图象去噪模块，首要聚焦在图象去噪的传统算法，包括2DNR、3DNR模块。因为真实噪声的旌旗灯号相干性和ISP自己引入的非线性，现实常常需要多色域的多个去噪模块进行联动共同，才能获得最好的结果。另外，ai算法已获得了远胜传统算法的去噪结果，ISP芯片中也常常会优先斟酌将NR模块ai化，关在图象去噪的ai算法以后会继续介绍。

欲知详情，请下载word文档 下载文档