跳至內容

影像去背

維基百科,自由的百科全書

影像去背(英語:Image Matting),是指藉由計算前景的顏色和透明度,將前景從影像中擷取出來的技術,可用於替換背景、影像合成、視覺特效,在電影工業中被廣泛地使用。影像中的每個像素會有代表其前景透明度的值,稱作阿法值(英語:Alpha),一張影像中所有阿法值的集合稱作阿法遮罩(英語:Alpha Matte),將影像被遮罩所涵蓋的部分取出即可完成前景的分離。

影像去背的主要工作就是求得精確的阿法遮罩,而影像常有無法人工標示的部分,例如:人的髮絲或是動態模糊的部分,一種簡單的解決方法是先人工標定出影像的「Trimap」,再由演算法計算出阿法遮罩以完成影像去背。[1]

名詞定義

阿法遮罩(Alpha Matte)

阿法遮罩,是代表對於影像前景透明度的遮罩,大小和影像相同,遮罩中每個像素的值為相應的影像像素的阿法值(英語:Alpha)。阿法值為1代表該像素屬於前景,0則代表該像素屬於背景。阿法值也可能介於0,1之間,表示對應到的影像像素為半透明,例如煙霧、動態模糊。

Trimap

一張影像的「Trimap」,是指將影像中的每個像素劃分為三種區域:前景(英語: Foreground)、背景(英語:Background)和待確認(英語:Unknown)。演算法會將標定好的前景和背景當成已知,再藉由顏色等資訊將待確認區域中的像素標為前景或背景。

去背問題

常見去背問題可分為單色去背(英語:Constant-color Matting)、差異去背(英語:Difference Matting)和自然影像去背(英語:Natural Image Matting)三種。

單色去背

影像的背景為已知且為單一顏色,通常為較容易處理的藍色或綠色。一般在拍攝電影,需要替換背景時,會在藍幕或綠幕前拍攝,就是為了要將去背簡化為最容易的單色去背,讓後製的工作更容易且有效率。

差異去背

影像的背景為已知但不是單色,可以先將相機固定,拍攝完已知的背景後,再拍攝加入人物的影像,把兩影像相減後即可得到粗略的前景,故稱之為差異去背。相減的方法雖然簡單,但得出的前景再邊界部分容易出錯,可再藉由演算法進行優化。

自然影像去背

影像的前景背景沒有限制,是最一般化也最困難的去背問題。通常會由人工將影像標定為前景、背景和待確認三種區域,演算法再由已知的前景、背景顏色,去推算待確認區域中的每個像素屬於前景或是背景。

演算法

可大致分為兩類:取樣法(英語:Sampling-based)和傳播法(英語:Propagation-based)。

取樣法會對影像的局部區域取樣,從已知資訊計算出該區域的阿法遮罩。常見的方法有貝式去背景法(英語:Bayesian Matting)。

傳播法是指藉由分析整張影像的特性,像是顏色、梯度等,來直接求得整張影像遮罩的方法。常見的方法有帕松去背景法(英語:Poisson Matting)、羅氏去背景法(英語:Robust Matting)等。

貝氏去背景法(英語:Bayesian Matting)

以貝氏概率模型計算最大後驗概率,對前景、背景及阿法值同步進行優化,使用有向高斯共變異數(Oriented Gaussian Covariances)能有效的推估顏色的分佈。貝氏去背的優點是概率模型簡單又符合直覺,去背效果良好。其限制是需要良好的「Trimap」,當影像的前後景關係變得複雜時,貝氏去背的效果會顯著下降。[2]

帕松去背景法(英語:Poisson Matting)

帕松去背分為兩步,一是從影像中算出遮罩近似的梯度場,二是藉由解帕松等式(Poisson Equation),從遮罩的梯度場求得遮罩。當前景和背景顏色接近時,帕松去背容易出錯,此時能夠以更多的使用者輸入,用區域的帕松去背來進行優化。[3]

穩健性去背景法(英語:Robust Matting)

通常在有品質好的「Trimap」的情況下,取樣法可以得到較好的遮罩;但在前後景關係複雜,「Trimap」品質不佳時,取樣法的效果會迅速衰減。穩健性去背景法會先進行取樣,得到遮罩後再進行優化,進而結合取樣法和傳播法的好處。[4]

其他技術

在實作上,可以藉由增加觀測資訊,讓去背景變得更加容易。

紅外線的使用

在拍攝時,同時使用一般鏡頭和紅外線鏡頭,藉由紅外線照片所得到的資訊,將同時拍攝的一般照片當中的人與背景分離。

閃光去背

在拍攝時,拍下使用閃光燈和沒有使用閃光燈各一張,閃光燈會明顯改變前景的亮度,但對背景的影響較小,藉由分析有無閃光的兩張照片,來完成影像去背。分析照片時能使用上述演算法,如貝氏閃光去背(Joint Bayesian Flash Matting)。[5]

參考文獻

  1. ^ Digital Visual Effects lecture by Yung-Yu Chuang
  2. ^ Yung-Yu Chuang, Brian Curless, David H. Salesin, and Richard Szeliski. A Bayesian Approach to Digital Matting. In Proceedings of IEEE Computer Vision and Pattern Recognition (CVPR 2001), Vol. II, 264-271, December 2001. [2017-06-30]. (原始內容存檔於2022-05-07). 
  3. ^ Jian Sun, Jiaya Jia, Chi-Keung Tang, Heung-Yeung Shum. Poisson Matting (PDF). [2017-06-30]. (原始內容 (PDF)存檔於2006-09-16). 
  4. ^ Jue Wang, Michael F. Cohen. Robust Matting : The robust tool for natural image segmentation and matting. [2017-06-30]. (原始內容存檔於2020-07-03). 
  5. ^ Jian Sun, Yin Li, Sing Bing Kang, Heung-Yeung Shum. Flash Matting