比iPhone XR還厲害新iPhone SE如何實現單攝虛化
售價僅為3299元的iPhone SE2,雖然並不支持5G網絡,但是憑藉蘋果A13芯片+IOS系統成為了一款“真香機”。不過,有些業內人士表示,iPhone SE2手機並沒有太多的亮點,它更像是一款換芯版的iPhone 8。
4月27日,iFixit 分享了iPhone SE2拆解報告,確認大部分iPhone SE2的零件可以與iPhone 8通用。其中,iPhone SE2的相機傳感器可以與iPhone 8互換。
手機具有便捷性這個顯著的特徵,這似乎和攝影功能是天造地設的一對。很顯然,整個電子影像行業比用戶更早察覺到這一點。
iPhone SE2的攝像功能怎麼樣?
對於攝影愛好者來說,iPhone SE2只配備1200萬像素的鏡頭,並缺少廣角和微距鏡頭。iPhone SE2不支持超級夜景模式,前置攝像頭只有700萬像素。
iPhone SE2是第一部只使用單個2D圖像就不會產生人像效果的iPhone。
例如,當使用Halide這款應用進行測試時可以發現,第一方相機僅允許在人物主體上使用人像模式。
當發現這個情況的時候,有些用戶會表示iPhone XR也如此。儘管iPhone XR具有單個攝像頭,但它仍然可以通過硬件獲得深度信息。
iPhone XR利用了傳感器的聚焦像素,用戶可以將它們視為旨在幫助手機聚焦的微小“眼睛”。
iPhone XR利用從每隻“眼睛”中看到非常細微的差異來生成非常粗糙的深度圖。
iPhone SE2無法使用聚焦像素,因為iPhone SE2的傳感器覆蓋範圍不足,但是,iPhone SE2完全可以通過機器學習來產生具有深度的照片。
iPhone SE2的這個特點可以進行簡單的測試:拍攝照片而不是實物。
例如,以全屏方式加載這張照片,然後使用iPhone SE2進行拍攝:
從圖片上可以看出,使用iPhone XR的時候可以看到幾乎平坦的表面,似乎是使用了彩色圖像改進了該深度圖,可以猜測該圖中間的部分略高於前景中。
然而,iPhone SE2生成完全不同的深度圖。儘管這個深度圖是錯誤的,但是結果讓人難以置信!
iPhone SE2非常適合給人進行拍攝,但是當鏡頭里沒有人出現時,這部手機有時會出錯。
例如,手機將背景中的樹木與狗狗的頭部混淆了。
以下圖為例,當用戶使用iPhone 11 Pro和SE2拍攝了該照片,很明顯,擁有多個攝像頭可以生成更好的數據。
儘管iPhone 11捕捉了整個走廊的深度,但iPhone SE2卻錯過了退到背景中的地板。
這對真實世界的照片意味著什麼?以擁有不同層次的多肉植物為例。
iPhone 11 Pro在深度圖中顯示出明顯的邊緣;iPhone SE2獲得了事物的要點。
如果用戶更喜歡iPhone SE2的外觀,則始終可以使用iPhone 11 Pro重新創建它。但是,用戶無法在iPhone SE2上獲得iPhone 11 Pro的獨特分層。
分層是Apple的另一個機器學習過程中發揮作用的地方。
除了iPhone XR外,Apple還引入了“ Portrait Effects Matte” API,可以檢測照片中的人物並創建非常細膩的模糊成相。
只要前景中的物體清晰且聚焦,大多數用戶都可以在背景模糊的情況下玩兒轉攝影。
沒有什麼可以阻止Apple讓用戶對所有事物進行深度照片拍攝,但是Apple寧願設置“人像模式僅適合人”的情景,也不願讓深度效果不能達到預期而讓用戶失望。
機器學習是否會達到不再需要多相機設備?
人類的大腦遠強於機器這毋庸置疑。與全新的iPad Pro不同,人類的眼睛沒有任何激光雷達可以為人們提供深度信息。相反,人類的大腦卻可以從許多源頭收集信息。
最好的深度來源於人類每隻眼睛的兩個圖像,人類大腦在圖像之間“連接點”的差異越大,物體與人眼的距離就越遠。這種雙目方式類似於雙攝像頭iPhone的深度功能。
猜測深度的另一種方法是通過運動。當人們走路時,遠處物體的視覺移動速度比附近的物體慢。
這類似於增強現實應用程序感測用戶在世界中位置的方式。對於攝影師來說,這不是一個很好的解決方案,因為在拍攝照片之前要求某人在空中揮動手機幾秒鐘是很麻煩的。
那麼,iPhone如何從單個(單眼)靜止圖像中找出深度?
可以想像一下一個用一隻眼睛看世界的人,他過正常生活的時候會經歷許多麻煩。例如,開車要花費更多的精力。
正常視覺的人以其他線索來判斷距離,例如已知對象的相對大小。
【 圖片來源:信息時報 所有者:信息時報】
在猜測深度時,單個圖像可以有多種解決方案。
歸根結底,神經網絡具有魔力,但它們受到與人類智能相同局限性的約束。
在某些情況下,僅一張圖像是不夠的。機器學習模型可能會提出合理的深度圖,但這並不意味著它可以反映現實。
如果用戶的目標是準確捕獲場景,以最大程度地編輯緯度,則在這裡需要雙攝像頭系統或其他傳感器如激光雷達。
機器學習會超越多相機手機嗎?顯然是不可以的。
正如拿攝像機與人眼相比,從物種起源開始算起,人類用億萬年的時間進化出來的肉眼,目前來看眼睛的能力機器是無可替代的。
因此,如果想要機器學習的速度赶超多相手機,那麼至少需要學習幾年甚至幾十年的時間。