如果sensor 不再以帧为单位输出,而是以行位单位输出,则可以缓解运动伪影问题。如下图所示,sensor 先输出一行长曝光像素,再输出一行短曝光像素,然后开始输出下一行。当最后一个像素扫描完毕时,sensor已经完成了两帧图像的输出。三/四帧合成WDR也是同理。


d8a2b43c1b584de93a30d67dfd4f913f.png


这种输出方式被OmniVision 称为Staggered WDR技术,下面是OV Staggered WDR sensor 的帧结构示意图,


7871226e924925bc7fcd5b7d0ff1c313.png


SONY支持WDR的方式称为DOL(Digital OverLap)技术,它支持两种像素输出方式,方式1是在同一个码流中替输出,方式2是使用两个码流并行输出,如下图所示。


8edf54b07a5cc7affca44cf13ffe992e.png
SONY DOL - single stream 交替输出方式


在单码流输出方式中,

第4n组数据是sensor第2n行像素的长曝光数据(LEF:R/Gr/R/Gr/...);

第4n+1组数据是sensor第2n-4行像素的短曝光数据(SEF:Gb/B/Gb/B/....);

第4n+2组数据是sensor第2n+1行像素的长曝光数据(LEF:Gb/B/Gb/B/...);

第4n+3组数据是sensor第2n-3行像素的短曝光数据(SEF:Gb/B/Gb/B/....);

以此类推。。。

需要注意的是,短曝光像素相比长曝光像素有固定的4行延迟,所以最先输出的四组短曝光数据是无效的。


9fddaddd21449ae954d31eb35079ded6.png
SONY DOL - main/sub stream 并行输出方式



3.14.2 Interleaved

第二种模式又称BME(Binned Multiplexed Exposure)。这种sensor每隔两行的曝光时间分别设为短曝光和长曝光。然后融合长短曝光的两帧图像,成为行数减半的一帧WDR图像。空间分辨率损失了一半,就好像是做了1x2binning,所以叫做BME。SONY IMX135 和IMX258使用了这一技术。


36291c0703c9944495ceb6c64d29e10b.png
62a7d90b5870eda2ee404fa1acd447ed.png



3.14.3 Chopped

第三种模式主要用于解决WDR的短曝光容易遇到flicker的问题,需要针对短曝光做特别的斩波支持,具体可参考本文1.10小节。


3.14.4 Lin-log

第四种模式是使像素具备log响应曲线,自动压缩输入信号的动态范围。当输入信号小于一定阈值时,像素表现为线性响应(linear),当输入大于该阈值后,输出的阻尼正比于信号强度,输出表现为log特性。


84d430f98c5fb1a3cee50145a48029dd.png


当PD表现为log特性时,电压特性用以下公式描述。


fb8c91d9c328751e6a7553b8582ad58d.png


这种像素设计的主要缺点是小信号时响应较慢,信噪比低。另外,需要后端ISP 配合解码才能使像素值恢复线性。

一家叫做New Imaging Technologies (NIT) 的法国公司有生产log像素的sensor,2014年公开的像素响应特性如下图所示。


d589eb3e46007f845c2adb42f6b563b1.png
9b39da3561c755176de9801d83246514.png
3f5e382908dbe84fe2fd3bf2ab83c0e9.png