Skip to content
WONGCW 網誌
  • 首頁
  • 論壇
  • 微博
  • 壁紙下載
  • 免費圖床
  • 視頻下載
  • 聊天室
  • SEO工具
  • 支援中心
  • 表格製作
  • More
    • 在線名片
    • 網頁搜索
    • 天氣預報
    • 二維碼生成器
    • WordPress 插件及主題下載
  • Search Icon

WONGCW 網誌

記錄生活經驗與點滴

用iPhone一秒拍摄3D照片 Facebook这项技术厉害了

用iPhone一秒拍摄3D照片 Facebook这项技术厉害了

2018-10-12 Comments 0 Comment

想象一下,你用手机拍摄一张照片,然后你不仅可以得到你拍摄时的一个角度,你还可以拖动照片来看到不同角度的视野变化。这听起来是在描述高大上的光场视频,而不是通常的2D拍照技术,是吧?今年5月,Facebook介绍了3D照片技术,今天Facebook正式将其3D照片功能带到了iPhone手机上。

当你用iPhone拍摄一张照片时,点击状态更新编辑器中的新3D照片选项,选择肖像模式照片,然后Facebook会用AI计算出场景深度,使得2D照片也可以动起来,呈现出多个角度的景象。

这些3D照片可以在在桌面或者手机App中的Facebook实时信息流中体验到。当你滑动信息流时,这些照片和普通照片看起来没有区别,而当你点击进入照片时,他们立刻突破平面2D的束缚,就像一个小窗口一样,一下子把你拉进3D照片的世界。就像上图gif一样,拖动照片你可以你看到狗的侧面和背后的岩石。

这个以AI创造出深度图像的技术来自于Facebook计算摄影部门,讲述这项技术的论文由伦敦大学学院的Peter Hedman和Facebook西雅图办公室的研究科学家Johannes Kopf合著完成,论文曾在今年8月于温哥华举办的Siggraph上展出。

其实,不少巨头都在研发计算图像深度的技术,不过目前他们都只是应用在人像模式中,用以虚化背景。

然而,Facebook的技术路径却是从VR开始的。Facebook以30亿美元收购Oculus后就大力倾注VR,致力于创造一个连接虚拟与现实的全新社交帝国,把现实世界放进VR是一项关键任务,此前的实现方式主要是360度全景或者是加上3D效果的360度全景视频,然而,这些全景图片拼接成的内容只是2D图片的大型化,并不具备现实世界的深度感和真实感。

6Dof视频以及更完善的光场视频是大家期望的解决方案,Facebook也一直在这些领域探索。在2017年5月的F8大会上,Facebook发布了两款能记录深度信息的 3D VR全景相机,Facebook 360 Surround x24和x6。今年9月,Facebook发布专业级全景相机 Manifold。

然而,6Dof视频和光场视频的制作成本极高,目前VR的发展也难以吸引大量的内容制作者,Facebook选择了更便捷更民主化的路线——3D照片。

虽然Facebook推出的这项深度图像技术被称为3D视频,但是却和大家熟悉的3D电影的3D效果不是一码事。普通的3D只是通过双目时差实现的伪3D效果,在电影院里,不管你怎么转头,你看到的立体影像都只有一个角度,而Facebook的3D照片的特点是可以拖动查看不同的角度信息。

说了这么多,回到重点,Facebook是如何实现这项技术的呢?

一开始,Facebook采用的方式是让用户以单摄像头的相机拍摄,通过移动来捕捉整个场景,然后通过分析视差和手机运动,即不同距离的物体在相机移动时移动的数据,可以精确地在重建出3D场景。

但是,从单个摄像机的快速图像中推断出深度数据是对CPU的计算要求很高,这种方法在大多数手机都有双摄像头时显得有些过时。通过同时使用两个相机捕获图像,即使对于运动中的物体也可以观察到视差差异。并且因为两个镜头的设备处于完全相同的位置,所以深度数据的噪音要小得多,对运算的要求也低很多。

Facebook目前就是采用iPhone的双摄像头,手机的两个摄像头拍摄了一对图像,设备立即自行完成计算“深度图”,图像编码帧中所有内容的计算距离。结果看起来像这样:

苹果、三星、华为、谷歌都在研究深度图像技术,但是目前主要用在照片的背景模糊上面。深度图的技术难点在于,创建的深度图没有某种绝对比例。例如,当深红色意味着100英尺时,浅黄色并不意味着10英尺。每张照片的比例都不相同,这意味着你需要拍摄多张照片来获得物体实际距离,但是要将这些照片拼接在一起是一种痛苦。

这就是Kopf和Hedman及其同事所面临的问题。在他们的系统中,用户通过移动他们的手机拍摄他们周围环境的多个图像;它每秒捕获一个图像(技术上是两个图像和一个结果深度图)并开始将其添加到其集合中。 在后台,算法会查看手机运动检测系统捕获的相机的深度图和微小运动。然后,深度图基本上被按摩成正确的形状以与其他照片对齐。

创建出深度图之后,深度图会被转换为3D网格(这个比较抽象,可以将其想象为一个纸质版本的景观图)。然后,检查网格的明显边缘,将这些边缘撕裂开,例如前景中栏杆遮挡背景中的景观,就将两者分离开。这会将各种物体隔开,使它们看起来处于不同的深度,并随着透视的变化移动。虽然这些方法创造了3D效果,但是你可能已经猜到前景看起来只不过是一个纸质镂空,因为,如果是直接拍摄的人脸,就没有关于他们的头部或背部。

那么,最后一步就很重要。通过卷积神经网络去猜测和填充图像的其余部分。例如,如果图像区域有头发,那么头发可能会继续存在。因此,它可以令人信服地重新构建这些纹理,并估计对象的形状,缩小间隙。这样当你稍微改变视角时,你似乎真的“围绕”对象看了一圈。

Facebook目前能在一秒钟的时间内完成深度图的创建,因此他们将此称为“即时3D摄影”。当然,3D照片功能目前只能在有两个摄像机上使用,首发这项功能的是iPhone 7+, 8+, X or XS,此后会有更多手机加入。

在论文中,Facebook也讨论了如何用通过另一个卷积神经网络来使得单摄像头的相机也拥有同样功能。但是,单摄像头不如双摄像头系统好。这还需要算法和软件公司的继续努力,正如前些天,Google就用单摄像头实现了超越苹果双摄像头的多项计算摄影效果。

分享此文:

  • 分享到 Twitter(在新視窗中開啟)
  • 按一下以分享至 Facebook(在新視窗中開啟)
  • 分享到 WhatsApp(在新視窗中開啟)
  • 按一下以分享到 Telegram(在新視窗中開啟)
  • 分享到 Pinterest(在新視窗中開啟)
  • 分享到 Reddit(在新視窗中開啟)
  • 按一下即可分享至 Skype(在新視窗中開啟)
  • 按一下即可以電子郵件傳送連結給朋友(在新視窗中開啟)
  • 點這裡列印(在新視窗中開啟)

相關


網絡資訊

Post navigation

PREVIOUS
Windows 10 2018十月更新到底更新了啥?新功能全体验
NEXT
Google的Pixel 3手机使用三星的F2FS文件系统

發表迴響 取消回覆

這個網站採用 Akismet 服務減少垃圾留言。進一步了解 Akismet 如何處理網站訪客的留言資料。

More results...

Generic filters
Exact matches only
Search in title
Search in content
Search in excerpt
Filter by 分類
網站公告
Featured
限時免費
ESET NOD32
WINDOWS 10 &11 INSIDER PREVIEW
Windows 軟件下載
系統軟件
辦公軟件
圖像處理
影音媒體
網絡軟件
應用軟件
Mac 軟件下載
安卓軟件下載
網絡資訊
Mac資訊
Linux資訊
VPS資訊
NASA資訊
金融資訊
WhatsApp Stickers教學
WordPress資訊
WeChat資訊
PHP資訊
Plesk資訊
TensorFlow
教學資源
開源程序
網頁工具
SEO工具
醫療健康
旅遊及消閒
其他資訊
Content from
Content to
2018 年 10 月
一 二 三 四 五 六 日
1234567
891011121314
15161718192021
22232425262728
293031  
« 9 月   11 月 »

分類

  • 網站公告
  • 限時免費
  • ESET NOD32
  • WINDOWS 10 &11 INSIDER PREVIEW
  • Windows 軟件下載
  • 系統軟件
  • 辦公軟件
  • 圖像處理
  • 影音媒體
  • 網絡軟件
  • 應用軟件
  • Mac 軟件下載
  • 安卓軟件下載
  • 網絡資訊
  • Mac資訊
  • Linux資訊
  • VPS資訊
  • NASA資訊
  • WhatsApp Stickers教學
  • WordPress資訊
  • WeChat資訊
  • PHP資訊
  • Plesk資訊
  • TensorFlow
  • 教學資源
  • 開源程序
  • 網頁工具
  • SEO工具
  • 醫療健康
  • 旅遊及消閒
  • 其他資訊

彙整

近期文章

  • 特斯拉最新Cybertruck路試諜照現身揭示了兩個車身設計變化 2023-02-03
  • NASA在火星上發現與眾不同的岩石懷疑是天外來客 2023-02-03
  • 部分Windows用戶遭遇不可跳過的全屏Microsoft 365試用廣告 2023-02-03
  • Ghostwriter插件現在可以將ChatGPT整合到微軟Word中 2023-02-03
  • 研究人員首次實現植入小鼠體內的人腦器官對視覺刺激的反應 2023-02-03
  • 科學家使用外來的DNA來幫助創造”耐氣候變化”作物 2023-02-03
  • 谷歌第四季度淨利潤同比下降34% 未達預期股價下跌逾3% 2023-02-03
  • 蘋果四季度iPhone收入不佳總營收創六年最大跌幅盤後跌近4% 2023-02-03
  • 美股龍頭罕見跌倒蘋果Q1財報營收、利潤均不及預期 2023-02-03
  • 亞馬遜第四季度營收1492.04億美元淨利潤同比下降98% 2023-02-03

熱門文章與頁面︰

  • ESET NOD32 LICENSE KEY (UPDATED 2023-01-17)
  • DP vs HDMI 誰才是遊戲玩家最佳選擇?
  • Explorer Patcher:讓Windows 11恢復Windows 10的行為特徵
  • 打車叫到特斯拉不會開門很尷尬?官方介紹開關門方法
  • z-sms – 在線免費云短信臨時手機號接碼平台網頁版
  • 盜版Windows 7還能免費升級Windows 10嗎?
  • 天翼網盤免登陸高速下載,直鏈解析不限速
  • PS5實際上擁有網頁瀏覽器但玩家無法隨意訪問
  • ESET NOD32 LICENSE KEY (UPDATED 2022-01-01)
  • 下載WINDOWS10 登入畫面的圖片 (WINDOWS焦點)

投遞稿件

歡迎各界人士投遞稿件到admin@wongcw.com

請提供以下資料:

1.你的名字

2.你的電郵

3.分類目錄

4.文章標題

5.文章摘要

6.文章內容

7.文章來源

 

聯繫我們

查詢,投稿,商務合作:
​admin@wongcw.com
​技術支援:
​support@wongcw.com
​客户服務:
​cs@wongcw.com

QQ群:833641851

快帆

MALUS

極度掃描

DMCA.com Protection Status

WONGCW 網誌

  • 免責聲明
  • 捐助我們
  • ThemeNcode PDF Viewer
  • ThemeNcode PDF Viewer SC
  • Events

服務器提供

本站使用之服務器由ikoula提供。

聯繫我們

查詢,投稿,商務合作:
​admin@wongcw.com
​技術支援:
​support@wongcw.com
​客户服務:
​cs@wongcw.com

QQ群:833641851

© 2023   All Rights Reserved.
X