Adaptive Spatial and Motion-compensated Temporal Noise Reduction

Adaptive Motion-compensated Temporal Noise Reduction裡,為了保護Motion Region的細節,Motion Region不會受到Temporal Noise Reduction影響,所以移動物體上的雜訊還是沒被消除,雖然可以確保motion region的細節不被改變,但在後端做壓縮的時候會增加壓縮頻寬,如果影像畫面中有很大的區域都是移動區塊的話,會對後端壓縮造成很大負擔,bit rate會急速上升。既然我們可以得到Motion Region了,我們就可以針對這些區域做2DNR(Spatial Filter),減少移動區塊裡的noise,而其他靜態場景依然用3DNR(Temporal Filter)做處理。
2D+3DNR[2D+3D Noise Reduction Block Diagram]
 

Spatial Filter : Adaptive Local Mean Filter

Adaptive local mean不像一般的Mean Filter每個相鄰的pixel weight都是一樣的,可以利用相鄰同channel的pixel和center pixel的intensity的絕對值差來決定weight的大小,與center pixel差異越小,則weight越大;反之,差異越大,weight越小。左下圖的Transfer Curve是intensity的絕對值差與weight值的對應關係,可以自訂IN0、IN1、OUT0和OUT1來決定curve的型態。
 
curve              \frac { 1 }{ \sum { { w }_{ i } } } \sum _{ i=0 }^{9}{ { w }_{ i }{ p }_{ i } }    
 
下圖為5x5的Bayer Pattern的mask,以紅色channel為例,中間為center pixel,周圍八個紅色極為相鄰的pixels。
未命名                                                                                                              [5x5 Mask in Bayer Pattern]

結果比較:3DNR可以看到喝水鳥頭部移動區域的noise被2DNR給抹平了。Adaptive local mean可以依據Noise Level來決定強度,避免過強的Spatial Filter使motion region細節模糊。

 

 

 


reference :

temporal noise reduction of bayer matrixed video data(2002)

patent::Spatio-temporal video noise reduction system(Stmicroelectronics ,2006)

Leave a Reply

Your email address will not be published. Required fields are marked *