Noise Reduction and Bayer Pattern Introduction

Noise

雜訊(Noise)是指所有數位訊號(音訊、影像及視訊等)訊號經過傳送或產生的過程中產生的任何不自然結果。

以數位相機再曝光過程中產生的Noise可分為Fixed Pattern Noise、Random Noise和Banding Noise。Random Noise是最難處理的,沒有固定的形態,會隨著影像做波動變化,容易受到ISO值設定影響。未命名                                             [Digital Camera Noise]

若是要分析Noise本身組合成分的話,可分為Chroma Noise和Luminance Noise。在一般雜訊抑制軟體裡,會轉換色彩空間(color space)從RGB到YUV上,分別對Chroma Noise和Luminance Noise做訊號處理。

未命名2                                                                                     [Noise Elements]

下圖為noise在不同亮度下的影響,在不同亮度下我們感知到的noise強度都不一樣,可以看到在亮部的區域幾乎感知不到nosie的存在,是由於訊號(signal)較大的情況下就不容易受到雜訊波動所影響;但在暗部的地方由於訊號(signal)強度相較於亮部較弱的關係,感測到的noise比較強烈,所以在做雜訊抑制上會通常會專注於在暗步的處理。

未命名3                      [Noise in Different Bright]

 

目前有兩種類型的雜訊抑制(Noise Reduction)技術廣泛用於影像視訊上,分別是2D雜訊抑制和3D雜訊抑制。2DNR是在spatial domain上的雜訊抑制,分析影像視訊的個別訊框,用演算法識別,分析出細節與雜訊,然後修正掉雜訊,得到較好的影像品質,但細節與雜訊本來就是無法百分之百被切割的,所以容易有判斷錯誤的情況發生,使得影像變得模糊;3DNR則是在time domain上的雜訊抑制,分析連續影像視訊的差異來抑制random noise,使影像較為平穩且提高影像品質。一般來說,3DNR的雜訊抑制效果比2DNR來的好,但致命缺點是畫面中如果有移動物體,會使得移動物體變得模糊有殘影(Ghost)的現象發生。


Bayer Pattern

有些抑制雜訊演算法會在Bayer Pattern上面實現,是為了讓noise在前端就已經被修正掉,而不會影響ISP後面其他function的 performance。Bayer Pattern是一種顏色濾光陣列(Color Filter Array),由於CCD或CMOS感測器裡的感光二極體不能分辨不同波長的光源,因此我們需要一個色彩濾光陣列,篩選出紅色、綠色以及藍色,然而最常見的CFA就是Bayer Pattern或叫GRGB Filter,如下圖所示,紅色25%,綠色50%,藍色25%,人類眼睛對綠色的敏感度是遠高於其他顏色的,所以綠色所佔的面積較大。如果今天要還原回真實顏色的話,就要利用相鄰的pixel去做解馬賽克(Demosaic)演算法,在每個pixel位置內插出另外兩個channel的顏色,例如A pixel感測顏色是紅色,就要內插出藍色與綠色。

Bayer Pattern


reference : http://www.cambridgeincolour.com/tutorials/

Leave a Reply

Your email address will not be published. Required fields are marked *