未來iPhone可能會在圖像傳感器上對視頻進行預處理
蘋果正在研究如何減少iPhone或其他設備對圖像傳感器本身的處理量,以便製作高質量的視頻,目的是節省文件大小和電池電量。目前,iPhone、iPad或任何其他設備的攝像頭都有一個圖像傳感器,它能記錄所有接收到的光線。然後,這些視頻數據被傳遞給一個處理器,由它來創建圖像。但這種在主設備CPU上的處理會很密集,並使設備的電池很快耗盡。
蘋果一項名為”用事件攝像機生成靜態圖像”的美國專利申請顯示,蘋果提出只處理視頻圖像中自上一幀以來發生變化的部分。傳統相機使用時鐘圖像傳感器來獲取場景中的視覺信息,記錄的每一幀數據通常會以某種方式進行後處理,在許多傳統相機中,每一幀數據都攜帶了所有像素的信息,通常會導致冗餘,並且隨著場景中動態內容數量增加,冗餘度通常會增加,隨著圖像傳感器利用更高的空間和/或時間分辨率,一幀中包含的數據量很可能會增加。換句話說,隨著iPhone相機分辨率越來越高,以及人們使用它們記錄更長的視頻,正在處理的數據量也會上升。
具有更多數據的幀通常需要額外的硬件與電量,這往往會增加複雜性,成本和/或功耗。當在電池供電的移動設備上進行後處理時,具有更多數據的後處理幀通常會更快地消耗移動設備的電池。蘋果這項專利描述了一個事件相機指示單個像素變化的方法,它不是捕捉所有的東西,相機輸出的數據響應檢測其視場的變化。通常情況下,當圖像被處理並製作成JPEG或類似格式時,沒有變化的像素會被丟棄,這樣可以使文件大小變小。在蘋果的提案中,這些像素甚至不會到達處理器。
蘋果表示,沒有記錄其強度變化的像素不會產生任何數據。因此,對應於靜態物體(例如,不移動的物體)的像素不會觸發像素事件傳感器的輸出,而對應於可變物體(例如,移動的物體)的像素會觸發像素事件傳感器的輸出。