多次延期,“天才設計”圖像傳感器Foveon即將面世
日前,Sigma 首席執行官Kazuto Yamaki 透露,該公司製造全畫幅Foveon 傳感器的工作有望在今年年底前完成。在Mirrorless Rumors發現的Sigma 的YouTube 頻道上發表的一次採訪中,Yamaki 被問及自今年早些時候提供更新以來是否有任何關於傳感器開發進展的消息。“我們仍在努力,現在我們正在研究三層X3 傳感器的原型,”他回應道。“這個傳感器應該在今年某個時候上市。”
Yamaki 和Sigma 之前曾表示,製作全畫幅Foveon 傳感器的過程很困難,他在這裡重申了這一點。
“Foveon X3 傳感器不是一個非常通用的傳感器,”Yamaki 說。“在低光照條件下會有一些’缺點’,但如果光線充足,那台相機可以拍出非常漂亮和令人印象深刻的照片。”
Foveon陷入困境的發展史
Sigma 的Foveon 傳感器使用專有的三層結構,其中紅色、綠色和藍色像素各有自己的完整層。在傳統傳感器中,三個像素以馬賽克排列共享一個圖層,相機通過檢查相鄰像素來“填充”缺失的顏色。
由於照片的每個像素都以三種顏色記錄,因此生成的照片應該更清晰,色彩準確度更高,偽影更少。
但Sigma多年來一直在努力將全畫幅Foveon 傳感器推向市場。最初於2018 年9 月發布的全畫幅Foveon 傳感器出現了多次延遲。2020 年2 月,該公司宣布該開發項目已被“重新設計”並推遲了一段時間,具體時間不詳。
一年後,Yamaki 透露該傳感器再次被推遲,由於嚴重缺陷而無法投入量產。
2022 年2 月,適馬宣布已進入傳感器原型製作三個階段中的第二個階段,並表示如果第三階段進展順利,它可以開始驗證其量產性。
“當我們進入第3 階段時,我們將根據評估結果與研究機構和製造供應商驗證傳感器的量產性,然後最終決定是否量產圖像傳感器,”山木當時說。
“雖然我們還沒有達到可以公佈圖像傳感器量產的具體時間表的階段,但我們決心盡最大努力盡快實現一款真正讓等待它的客戶盡可能滿意的相機。”
Yamaki 的新聲明和2022 年時間表似乎表明該公司已成功完成第三階段,再次希望全畫幅Foveon 傳感器能夠重見天日。
Foveon:未能趕上的智能圖像傳感器
早在2000 年代初期,Sigma(通常在攝影界被稱為鏡頭製造商的公司)發布了一種名為Foveon X3 的新型相機傳感器。該傳感器技術於1999 年由一家名為Foveon, Inc. 的公司(後來於2008 年被Sigma 收購)首次獲得專利,並採用了創新的色彩感知技術:3 層光敏二極管堆棧。
從紙面上看,這項技術承諾在色彩準確度、低光噪聲和圖像清晰度方面優於CMOS 傳感器。本文將解釋為什麼Foveon 技術儘管是一個聰明的想法,但從未真正在攝影行業取得成功。
矽作為一種半導體材料而廣為人知,並且在許多電子電路中都使用這種材料。然而,對於攝影師來說,矽的主要興趣在於它是一種感光材料。
更具體而言,矽吸收介於400nm 和1100nm 之間的任何波長的光。好消息是,這個範圍涵蓋了可見光譜(大約400nm 到750nm),甚至還有一點近紅外光譜。壞消息是,矽本身並不能區分光的顏色,只會積累400-1100nm 範圍內的任何光子。
提高圖像質量的第一步是添加一個濾光片,以在紅外光(750nm 和1100nm 之間)到達傳感器之前將其去除。生成的系統構成單色相機傳感器(提供黑白圖像)。
從那時起,收集一些顏色信息的最常見方法是使用濾色器陣列(CFA)。通常,這個濾鏡是按照拜耳模式(來自柯達工程師的名字)組織的,帶有紅色、綠色、綠色和藍色濾鏡。
多虧了這三個濾鏡,人們可以恢復圖像中的顏色信息。然而,這個過程是以犧牲一些圖像分辨率為代價的。對於給定的“紅色”像素,必須進行插值以找到丟失的綠色和藍色信息。存在許多插值算法,但該過程總是會導致某種形式的顏色偽影和圖像柔化。
彩色濾光片陣列除了不准確之外,在收集一些顏色信息的過程中也會吸收很多光子。吸收取決於濾光片的選擇和圖像內容,但通常承認光通量在到達傳感器之前要除以3 倍。那是1.5檔光。
碰巧的是,根據它的顏色,給定的光子在被吸收之前在矽中傳播了特定的距離。這個“行進距離”與光子的能量有關,而光子的能量取決於它的波長。短波長光子(藍光、紫外光等)比長波長光子(紅光、紅外光等)能量更高,因此在矽中的較短行程後被吸收。
由於矽中的吸收深度提供了對光子波長的估計,因此吸收深度的測量在理論上提供了顏色信息。Foveon 傳感器的巧妙之處在於使用“深度濾鏡”而不是並排的彩色濾鏡。
至少在紙面上,移除任何濾色片應該會增加落在傳感器上的光通量,並消除與濾色片相關的缺點。
早在2002 年Foveon 傳感器在Sigma SD9 DSLR 中首次進入市場時,大多數數碼相機的分辨率都遠低於10MPx。佳能EOS-1D 有4.2MPx,尼康D100 有6MPx。由於濾色器陣列需要數字插值,因此對於給定數量的像素,濾色器陣列提供了巨大的清晰度升級。
Sigma實際上試圖通過聲稱SD9 相機具有3.43MP 輸出圖像但“1030 萬有效像素”來推銷這種圖像質量差異,這意味著它們的像素表現要好3 倍。
幾篇學術論文確實發現,由於缺乏插值和銳利邊緣周圍的顏色偽影,Foveon 傳感器提供了更高的感知分辨率。從這個角度來看,Foveon 傳感器為用戶提供了明確且可衡量的好處。
Sigma 聲稱的最後一點是,在色彩準確性方面,Foveon 傳感器優於濾色片傳感器。該聲明是由缺少顏色信息插值來解釋的。實際上,對於給定的Foveon 像素,紅色、綠色和藍色數據記錄在同一個位置,這與彩色濾光片陣列相反。
至少在紙面上,Foveon 傳感器具備一切:更好的光通量意味著更好的低光性能、更好的色彩準確度和更好的圖像清晰度。但是紙質規格從來沒有完全講述完整的故事……
從那以後真正的問題真的歸結為:既然Foveon 傳感器背後的想法非常聰明,為什麼我們不都使用Foveon 傳感器呢?
一、解析度
隨著CMOS 傳感器的發展,對Foveon 技術的一些興趣消失了,因為像素密度的急劇增加降低了Foveon 傳感器的主要賣點之一。
當然,這並不是一個真正的apple to apple的比較,因為像素數只影響最終圖像質量的一小部分(連同鏡頭、可用光量等)。由於即使是智能手機也可以提供至少20MPx 的圖像,所以Foveon 的吸引力不如2000 年代初期。
二、顏色
Foveon 傳感器的色彩優勢在理論上是不可否認的,但實際上幾乎沒有什麼好處。在色彩校準顯示器和實驗室環境之外,色彩精度的差異很小,以至於大多數休閒攝影師都不會注意到。它肯定比白平衡錯誤或創意Instagram 過濾器的影響更微妙。
(三)噪點
這可能是最有爭議的一點。在紙面上,Foveon 傳感器應該收集大約3 倍的光,這應該轉化為信噪比提高1.7 倍。也就是說,假設散粒噪聲占主導地位。然而,事實證明,在實際比較中,Foveon 傳感器的弱光性能不足。甚至Foveon 總經理Shri Ramaswami 在2014 年的一次採訪中也承認了這一點:
“Foveon 方法的一個限制是圖像噪聲高於傳統傳感器,”他說。“這可能部分是由於傳感器架構本身的效率低下——也許一些光會丟失到分隔各層的內部結構中——也部分是由於必須進行處理才能從相當混合的信號中產生純色芯片實際上捕捉到了。
CMOS 傳感器和Foveon 傳感器有一個相似的設計問題:一些光從一個像素洩漏到下一個像素。在CMOS 傳感器中,這種串擾問題通過使用光電二極管之間的垂直隔離結構來解決。
然而,在Foveon 傳感器中,不可能應用相同的技巧(否則,您將只能獲得藍色信息)。因此,Foveon 傳感器往往會遭受從一個光電二極管層到下一個光電二極管層的光子洩漏。
所有“不尋常”色彩系統(無論是富士X-Trans、RGBW 濾鏡還是Foveon)的一個共同缺點是圖像處理也會受到選擇的影響。儘管拜耳濾光片可能不是捕捉顏色的最佳方式,但它們已經存在了幾十年,並且在傳感器市場上絕對占據主導地位。因此,圖像處理研究人員和公司有強烈的動機為這種類型的傳感器微調所有算法。
例如,去噪通常是通過一些關於收集到的光子的統計數據的假設來完成的,這些光子不能直接應用於Foveon 傳感器。遺憾的是,鑑於使用的Foveon 傳感器的份額,大多數圖像處理公司沒有任何動力支持Foveon 文件,更不用說開發專用於此類傳感器的圖像處理管道了。
基於機器學習的算法,這種趨勢只會變得更糟。坦率地說,機器學習算法只與用於訓練它們的數據一樣好(在數量和質量方面)。由於拜耳濾波器陣列提供的圖像數量是Foveon 的數千倍,因此前者傳感器將受益於比後者更好的算法。
最後,我們需要解決房間裡的大象。由於技術原因,攝影設備並不總是出售。定價、營銷、鏡頭生態系統、品牌——一項技術的成功有很多因素。
Sigma試圖提供一種與眾不同的傳感器,但該公司不得不同時打兩場戰鬥。第一個是證明Foveon 傳感器的圖像質量。第二個是證明,作為相機製造商,他們的相機優於佳能或尼康相機。
Foveon 可能是Sigma在競爭激烈的相機行業的秘密武器。但是,傳統傳感器和Foveon 傳感器之間的性能差異並不明顯。至少,還不夠清晰,不足以吸引新攝影師加入Sigma 品牌。
作為一家公司,Sigma在鏡頭製造方面享有良好和當之無愧的聲譽,並希望將其業務進一步擴展到相機和傳感器。然而,相機不僅僅是一個傳感器。Sigma 面臨的真正挑戰很可能是缺乏高質量的圖像處理。Sigma 甚至必須為AdobePhotoshop 創建一個插件才能打開Foveon 文件。
雖然適馬發布帶有全畫幅Foveon 傳感器的新相機並非不可能,但要在現有的Foveon 社區之外銷售該技術還有很長的路要走,更不用說使其成為行業標準了。