Deinterlacing Overview

接觸 deinterlacing 也有半年之久,最近有空閒來寫一下關於 deinterlacing 的概念與精神。(其實 wiki 上面已經描述得很詳細了...但只是想用自己的經驗與觀點來介紹 deinterlacing 。)

deinterlacing,中文叫做去交錯。deinterlacing 基本概念就是將隔行掃描( interlace )的影像訊號轉換成逐行掃描( progressive ) 訊號的一種方法。在早期因為傳輸頻寬不足的情況下,使用隔行掃描能夠在相同的 frame rate 節省一半的資料量,像是北美的 NTSC 制式的電視訊號就是隔行掃描,每秒60張;歐盟的 PAL 的電視訊號是隔行掃描,每秒50張。而 CRT 電視即利用視覺暫留影響,使得 interlace video 在 CRT 顯示器上能夠正常的顯示;但現今的液晶顯示螢幕已經有夠快的速度,能即時處理逐行掃描,所以在播放 interlace video 前必須先將 video 轉換成 progressive video,影像才不會有閃爍的現象發生。然而我們常見的視頻格式縮寫 720p、480i、576i ... 前面的數字表示影片垂直解析度,後面的英文字 p 表示逐行掃描,i 表示隔行掃描。

interlace&progressive[ 隔行掃描 vs 逐行掃描]

Deinterlacing Algorithm

deinterlacing 方法基本上可粗略分為 intra-field deinterlacinginter-field deinterlacingmotion adaptive deinterlacingmotion compensated deinterlacing 這四種方法。field 的解釋如下圖,當一張影像在隔行掃描時,只會有奇數行資訊或偶數行資訊,這一半的資訊量我們稱作場 (field),消失的另一半(灰色區域)就是靠 deinterlacing 方法內插出來的。

interlace&progressive2

intra-field deinterlacing 方法是最省硬體資源的方式,就從單一 field 裡面的資料訊息做內插,可用 line repetition、linear interpolation,或其他內插演算法來實現,但這種做法得到的畫面品質較差,畫面中有細橫線時,容易有閃爍的現象發生。

inter-field deinterlacing 方法,則是參考前後不同 fields 的訊息來做內插(需要有 DRAM 來存 frame buffer),這方法在靜態區域會有很好的影像品質,但當畫面移動或有移動物體存在時,會有鋸齒或橫紋的現象發生( feathering effect, combing effect, zipper ... paper 上常見到的說法)。

interlace&progressive3[右邊為 inter-field deinterlacing 的結果。]

motion adaptive deinterlacing 則是綜合 intra-field 與 inter-field 的優點來實現的演算法,利用 field 之間的像素差來判斷動態區域與靜態區域,動態區域用 intra-field deinterlacing,靜態區域使用 inter-field deinterlacing。此方式是目前 deinterlacing 最為廣泛的做法,因為在硬體資源可接受範圍下能做到不錯的效果。因為使用廣泛,所以演算法要一較高下,除了在 motion detection 要做得好之外,intra-field deinterlacing 也是一大重點。

motion compensated deinterlacing 利用動態補償方式來做,需要大量運算每個 block 的 motion vector 來估測每個像素的移動向量,此作法會有非常好的影像品質,但所需要硬體資源非常可觀。就我所知,除了在 encoder 或 frame rate transfer 上會用 MEMC (motion estimation and motion compensation) 外,其他 image processing 不會這麼下重本。

Future Work

除了上述基本的 deinterlacing 方法外,在實際應用上還會遇到許許多多的問題,像是 interlaced video 被標示為 progressive video,或 video 是 32 pulldown 的情況,又或者畫面中有固定速度移動的物體(如新聞跑馬燈)...在這些雜七雜八的問題出現下,如何設計演算法讓畫面能有最好的品質呈現,這就是 deinterlacing algorithm 能夠繼續發展的原因,但在 .265 HEVC encoder 不再支援 interlacing video 的情況下,deinterlacing 也將會漸漸式微。

 


reference :

http://www.vlsi.uwindsor.ca/presentations/elham_seminar1.pdf

https://zh.wikipedia.org/wiki/%E5%8E%BB%E4%BA%A4%E9%8C%AF

 

1 thought on “Deinterlacing Overview”

Leave a Reply

Your email address will not be published. Required fields are marked *