分辨率(解析度,Resolution)

        分辨率使我們經常聽到的一個詞,它代表了圖像的精細程度,也代表了圖像的大小。分辨率決定了在這種大小下,輸出信號是否能夠包含足夠多的信息來獲取所需的細節。這個參數和圖片本身是否鋭利或圖片是否沒有干擾(比如彩色摩爾紋)關係不大。

        在ISO 12233中,分辨率被定義為衡量一個攝像機系統或攝像機系統的一個部件描繪圖像細節的能力。

        通常我們所説的分辨率一般都會以橫向像素個數和縱向像素個數的乘積表達,比如1920*1080, 1024*768等,但在ISO12233中,我們會看到LW / PH、LP / mm、Cycles / pixel、LP / PH等單位,這些又表示什麼意思呢?

LP/mm

在模擬技術影像時代,膠片或透鏡的分辨率通過LP/mm表示(每毫米線對,line pairs per millimeter)。這個單位表示了在膠片平面中每一毫米內你能夠找到的線對數量。

一個線對由一條黑線和一條相鄰的白線組成,它們的朝向一致,寬度一致。

舉例來説,如果透鏡的分辨率為100LP/mm,這表示在膠片1mm內會投影出100根黑白線對。

進入數碼時代後,數字信號的特點使得使用這個單位來表達一副數字圖像的分辨率來説不再適合。當然,你可以使用LP/mm來表示透鏡的分辨率,但這種情況下你需要知道設備中使用的sensor的精確尺寸,要知道這個事情,有時非常困難,絕大多數情況下,如果不撬開設備是無法搞清楚的。


LP/pix

我們已經知道了LP/mm對於數碼相機的分辨率來説並不適合。因此需要另一種不同的單位,有一種非常常見的單位叫做LP/pix(每像素線對 line pairs per pixel)或cycles/pix(每像素週期 cycles per pixel)。線對仍然表示一組黑白相間的線,一個像素能夠達到的最大分辨率是1/2 LP/pix。因此,如果一個攝像頭能夠解析0.4 LP/pix,它就能達到其理論最大分辨率的80%。這樣我們就能很輕鬆地對比兩個攝像頭對它們所擁有的像素數量的使用程度了。


LP/PH

如果只用LP/pix來表示分辨率,會難以界定採樣過程本身的影響。例如,有兩個攝像頭A和B,A是0.5 LP/pix,B是0.4 LP/pix,單從這個信息來看,你可能會得出A比B好的結論。但如果A只有320個像素高,而B有2000像素高,那麼B在相同場景中所能展示的細節肯定會比A要好。因此為了讓測試結果能兼具效率(LP/pix)以及像素數量,有了LP/PH(沒圖像高線對 lin pairs per picture height)這個單位。

本例子中,A是160 LP/PH,B是800 LP/PH。

關於160 LP/PH和800 LP/PH是如何來的,這裏簡單説明一下。對於0.5 LP/pix,可以推出兩個像素組成了一個線對的一個點(黑好白),同理0.4 LP/pix下,需要2.5個像素。

用總的高度320和2000除以組成線對的一個點所需的像素個數,就是LP/PH。


L/mm

lines per millimetre。每毫米線數,和LP/mm類似,但僅表示線。

Cycles/mm

cycles per millimetre。每毫米週期數。

LW/PH

line width per picture height,每圖像高行寬,和LP/PH類似,但表示行寬和高度的關係。

        各個單位的轉換關係如下圖

imatest 解析度測試中圖像亮度越高值越大_其他

分辨率不足何時會發生

        在數字攝影的最開始的年份中,通常圖像分辨率的最大阻礙就是sensor本身有限的像素個數。由於這個原因,sensor的像素個數通常被誤認為是分辨率。隨着像素數量的增加,近年來問題轉到了諸如光學性能、自動對焦、動態模糊等因素上。如今像素大小開始不斷逼近極限,此時衍射這種光學現象就不得不考慮了。

        現如今,高分辨率依賴於高質量的透鏡來產生精細的圖像,高質量的透鏡對圖像邊緣的圖像質量尤其重要。一副圖像從中心點向角落擴散,不同的光學因素(如球面相差,鏡頭色差)影響下通常會導致分辨率變差。

        

測試分辨率的方法

        對分辨率的測試其實就是對空間頻率響應(spatial frequency response,SFR)的測試。

        這個函數描述了被測系統對於空間頻率的範圍的重現程度,範圍從0%(完全丟失信息)到100%(完美重現信息,沒有任何數據丟失)。

imatest 解析度測試中圖像亮度越高值越大_傳遞函數_02

        上圖中,橫軸表示空間頻率,從左到右變大;縱軸表示SFR。

        當測量一個相機系統的分辨率時,推薦先使用ISO 12233標準測量SFR測量。後續有很多不同的測試都和SFR有關係。

        標準描述了三種測量分辨率的方法,其中只有兩種和SFR相關。這兩種方法主要的差異是所使用的測試圖不一樣,e-SFR使用斜邊圖(slanted edge),s-SFR使用西門子星型測試圖(Siemens stars)。

        第三種獲得SFR的方法是枯葉圖(或彩色落幣圖,一種升級版的枯葉圖)。其主要是針對了紋理損失分析做了高度優化。

       E-SFR/Slanted Edges

imatest 解析度測試中圖像亮度越高值越大_計算機視覺_03

        e-SFR主要有三步:

        1) 獲得邊緣擴散函數(edge spread function)

              邊緣擴散函數ESF,描述了被測系統是如何重現邊界的。換句話説,它展示了圖像中的邊界的低強度(low-intensity)到高強度(high-intensity)部分的變化過程。ISO 12233中展示的算法允許一種super-resolution ESF,意思是這個ESF相較於原始圖像有四倍的採樣率。過採樣能夠在使用沿着目標邊界上的所有像素的時候,定義出邊界的變化。

        2)獲得線擴散函數(line spread function)

             線擴散函數LSF,是ESF的導數。在一些傳統的透鏡測試試驗枱中,LSF可以不用先知道ESF,通過重現狹縫的方式可以直接獲得。儘管這種方法有一些工程上的好處,但並沒有斜邊方法靈活。

        3)獲得空間頻率響應(spatial frequency response)

              SFR最終以LSF的傅里葉變換的方式計算。傅里葉變換將信號從時域/空域變換到頻域。這樣信號就不再通過"強度-位置"來描述,而是通過信號所需的不同空間頻率的組合來表達。

imatest 解析度測試中圖像亮度越高值越大_isp_04

imatest 解析度測試中圖像亮度越高值越大_圖像處理_05

imatest 解析度測試中圖像亮度越高值越大_isp_06

 e-SFR的三個關鍵步驟,圖中藍色和紅色線代表一個理想的信號以及一個真實的相機信號

        關於e-SFR的詳細算法,可以參考這位大神的文章

    s-SFR/Siemens Star

        斜邊法從IS0 12233的第一個版本開始就一直作為標準的一部分存在,從2014年後的版本中增加了s-SFR方法。這個方法在加入標準前實際上已經在某些測試實驗室所使用。

        該方法的核心概念建立在調和函數的線性組合認為調和函數這個特性上,線性系統處理後只會在調製或相位上發生改變。 空間頻率的範圍需要測量在物體和圖片中的調製比率。這個比率叫做被測系統的調製傳遞函數(Modulation transfer function, MTF)。換個理解方式是説,MTF 是衡量其在特定分辨率下將對比度從物體轉移到圖像的能力。

        被測系統會重現調和西門子星圖,控制軟件會定位星圖的中心點。對於一個給定的半徑,單位角度的數值以及一個調和MTF值會被測量出來。由於半徑反映了空間頻率,因此我們對所有可用的半徑都進行相同的測量,最後繪製出測量的MTF值。

imatest 解析度測試中圖像亮度越高值越大_傳遞函數_07

imatest 解析度測試中圖像亮度越高值越大_傳遞函數_08

 

imatest 解析度測試中圖像亮度越高值越大_isp_09

        關於MTF詳細解釋,可參考這裏

       有什麼衍生自SFR的度量方法

        測量出的SFR提供了很多信息。當設立不同的度量時,這個數據能夠縮減為一個單獨的數值。

        極限分辨率,也被表達為MTF10,或者空間分辨率SFR為10%。這個10%是基於瑞利準則而來,瑞利準則描述了兩點的衍射行為模式為基礎的極限分辨率。

        MTF10這個值描述了你能在實際的圖像中找到的細節的絕對極大值,這些細節對比度很低但仍然是視覺可見的。

        極限分辨率代表了最大的表現力,這和主觀理解上的sharpness並不相關。在很長一段時間裏,有一種説法是MTF50這個值會是一個描述一副圖像sharpness的更好的值。但MTF50本身是導致SFR為50%的空間頻率。在主觀的sharpness以及MTF50之間有相關性,但新的度量手段,也稱為鋭度(acutance),展示了更深入的相關性。

        鋭度(acutance)通過測量處的SFR和人眼的對比靈敏度函數(contrast sensitivity function, CSF)來計算。CSF是一個描述人眼如何觀察感知空間頻率的模型。因此,從圖像中測量處的空間頻率需要變換到針對具體觀察條件的空間頻率的表達形式。不像MTF50,鋭度(acutance)考慮到了人眼視覺和特定觀察條件的因素。

        簡單描述一下,可以認為sharpness為高,圖像的分辨率resolution以及鋭度acutance都高。

        關於sharpness,resolution和actuance的區別聯繫,這篇文章描述的很好,大家可以參考

        分辨率是圖像質量的一個基礎元素。分辨率不足導致的結果不只是低質量的圖片,在安防和汽車工業,通常依賴於高分辨率的圖像和視頻,這些場景中分辨率不足會造成致命的後果。因此對被測攝像機系統的圖像的分辨率進行正確地測試和分析至關重要。

測試方法如何選擇

        e-SFR方法相對簡單並且對於測試圖卡的設計上有更大的靈活度。另外完整的SFR測量是在圖中一個小的區域內完成的。當使用e-SFR時,需要記住的是圖像的增強算法會影響信號處理,檢測邊界並增強邊界對比度是非常容易的。因此e-SFR受到了部分因素如鋭化的影響,當然如果相機的RAW data可訪問,則這些因素不會成為問題。

        s-SFR方法對於鋭化以及其它圖像增強算法來説更具健壯性。它測量和評估了一個系統的光學性能,甚至是在RAW data不可用的情況下也能做到。不像e-SFR,s-SFR在絕大多數場景中,能夠在達到的高頻內提供可靠的信息如MTF10。

        如果沒有RAW data可用,最好是測量在不同結構上測量不同的SFR。這樣我們能從s-SFR裏得到光學性能,從e-SFR中獲得有關鋭化的信息。

參考資料

        Image Resolution - Image Engineering

        Resolution measurement and its units

        我理解的MTF/SFR - 知乎

        信息光學相干線擴散函數和邊緣擴散函數.pdf.pdf

        數學中重要的一類函數——調和函數