光子晶片整合感測和運算功能實現超快機器視覺
研究人員展示了一種新型智慧光子感測-運算晶片,它能在奈秒時間內處理、傳輸和重建場景影像。這項進展為超高速影像處理打開了大門,有利於自動駕駛、工業偵測和機器人視覺等機器視覺應用的邊緣智慧。
邊緣運算在本地設備上執行影像處理和分析等密集型運算任務,透過增加人工智慧(AI)驅動的分析和決策,正在朝向邊緣智慧發展。
來自中國清華大學的研究團隊負責人Lu Fang說:「由於必須進行光電轉換,目前基於邊緣任務(如自動駕駛)的圖像捕捉、處理和分析速度僅限於毫秒級。我們的新晶片可以在納秒在等級的時間內完成所有這些過程,將它們全部保留在光域中。
研究人員在《Optica》雜誌上介紹了這種新型晶片,他們稱之為光學平行運算陣列(OPCA)晶片。他們表明,OPCA 的處理頻寬高達一千億像素,反應時間僅6 奈秒,比目前的方法快約六個數量級。他們還利用該晶片創建了一個集圖像感知、計算和重建於一體的光學神經網路。
論文的共同第一作者Wei Wu說:”該晶片和光學神經網路可以提高工業檢測中複雜場景的處理效率,並有助於將智慧機器人技術提升到更高的認知智慧水平。我們認為它還能徹底改變邊緣智能。
新型智慧光學運算陣列(OPCA)晶片透過在一個晶片上整合感測和運算功能,執行端到端的影像處理、傳輸和重建。
消除光電轉換
機器視覺利用攝影機、影像感測器、照明和電腦演算法來捕捉、處理和分析影像,以完成特定任務。這些訊號隨後透過光纖傳輸,用於遠距離資料傳輸和下游任務。
然而,光訊號和電訊號之間的頻繁轉換以及電子處理器的有限進步,已成為提高機器視覺速度和處理能力的主要限制因素。
Lu Fang說:「世界正在進入人工智慧時代,但人工智慧非常耗時且耗力。同時,智慧型手機、智慧型汽車和筆記型電腦等邊緣設備的發展導致需要處理、傳輸和顯示的影像資料爆炸性地增長。
在光學領域,在同一晶片上同時執行影像擷取和分析的挑戰在於找到一種方法,將用於成像的自由空間空間光轉換為片上引導光波。
相關連結:https://opg.optica.org/optica/abstract.cfm?doi=10.1364/OPTICA.516241