Image Chroma Noise Reduction in Bayer Pattern

在 Color Filter Array(CFA)上做 Noise Reduction主要原因是我們可以直接將雜訊給濾除,避免在 demosaicing時將雜訊給散播開來,而影響後端的 image-processing pipeline。在 Bayer Pattern上每個 Channel只有一個色彩像素( R or G or B),因此無法像RGB color space可以轉換到 YUV or YCbCr色彩空間,將Chroma space和Luminance space給區分開來,個別做雜訊抑制,然而這篇 Patent主要claim點是在於他能夠在Bayer Pattern依然能消除Chroma Noise,而不影響 Pixel本身的 Luminance。

Bayer_Pattern


Chroma Noise Detection 

 Separate into three Channels 

未命名

Center Pixel以 B channel為例,在這9x9的window裡分別算出各個channel的mean值,假設計算出來的B=212、Mean B=34、Mean G=62、Mean R=48,下圖為示意圖。由各channel的Mean值可知這區塊裡的亮度不亮,但中心點B的 intensity又很大,那這點為 noise的機率就很高。

未命名

在patent裡有兩個判斷式做為Pixel是否為noise的依據,

未命名

(1). Center Pixel(B)是否大於meanG和meanR很多?

(2). meanB 是否大於meanG和meanR很多?

當(1)是yes且(2)是no的話,就認定Center Pixel(B)為Noise。


Chroma Corrected Pixel Calculation

Decrease the intensity of noise pixel

未命名

在修正 nosie pixel時,為了避免改變區塊的顏色,所以修正後的結果不會比\max { \left( meanG,meanR \right)}來的小,所以計算signalGap來決定intensity decrease最大程度。

signalGap=pixvalB-\max { \left( meanG,meanR \right)}

我們可以藉由signalGap求得目標值chromaCorrectedPixB。下表為各個channel的dampFactor,在不同 gain下會有不一樣的dampFactor,Gain越大,表示影像受 noise干擾較為嚴重,所以 damp程度就要更多;也可以注意到圖表裡G channel的係數與 B R channels不一樣,主要是由於人眼對綠色的敏感度較高的關係,所以會盡量避免 G channel的修正量過大。

未命名

chromaCorrectPixB=\max { \left( meanG,meanR \right) +\left( dampFactorBlue*signalGap \right)}


Chroma Noise Correction 

未命名

有了目標的修正目標值chromaCorrectedPixB後,該要修正多少呢?patent又提出兩個參照的fade量,

(1). signalMeter,signalMeter代表了 Luminance Y的分量,因為他是由三個 channels的 mean值所構成的。

signalMeter=0.299*meanR+0.587*meanG+0.114*meanB

(2). meanB,meanB代表了自己本身channel的平均值,參考自己的平均值來決定下降程度。

得知fade1fade2後,可求得 chroma noise要削弱的程度fadeTot

fadeTot=fade1*fade2

未命名

最後,把fadeTot視為center pixel與chroma correct pixel的weight值,Blend之後就得到修正後的Output了。

filterOutput=\left( 1-fadeTot \right) *originalPix+\left( fadeTot \right) *chromaCorrectedPix


Denoise Result

10

先將 noisy影像轉到 Bayer Pattern上,再經過Chroma Noise Reduction後,最後再demosaicing回來。

未命名

以下是細節比較,不只比較在Bayer domain上的表現,也比較在 RGB domain的結果。

未命名Bayer Domain,可以看到經過 Chroma Noise Reduction後,影像裡藍色的 noise明顯變少。

未命名2回到RGB Domain後更能感受到 Chroma Noise Reduction的效果,主要因為Noise本身會受到demosaicing演算法的影響而使 noise散播開來,因此,在 Bayer Domain下的 Noise Reduction能減少雜訊受到其他 image-processing的影響。

 


reference : patent::Image chroma noise reduction in the bayer domain(Stmicroelectronics S.R.L.)

Leave a Reply

Your email address will not be published. Required fields are marked *