視覺語言(Vision-Language，VL)系統允許為文本查詢搜索相關圖像(或反之)，並使用自然語言描述圖像的內容。一般來說，一個VL系統使用一個圖像編碼模塊和一個視覺語言融合模塊。微軟研究部門最近開發了一種新的圖像編碼對象屬性檢測模型，稱為VinVL（Visual features in Vision-Language），有著顯著超越人類的表現。

當VinVL與OSCAR和vivo等VL融合模塊結合後，微軟新的VL系統能夠在競爭最激烈的VL排行榜上取得第一，包括視覺問題回答（VQA）、微軟COCO圖像字幕和新穎對象字幕（nocaps ）。微軟研究團隊還強調，在nocaps排行榜上，這種新的VL系統在CIDEr（92.5對85.3）方面的表現明顯超過了人類的同形式表現。

微軟解釋道：

VinVL在改善VL理解的圖像編碼方面表現出了巨大的潛力。我們新開發的圖像編碼模型可以使廣泛的VL任務受益，正如本文中的例子所說明的那樣。儘管我們獲得了很有希望的結果，比如在圖像字幕基准上超越了人類的表現，但我們的模型絕不是達到VL理解的人類水平的智能。未來有趣的工作方向包括(1)利用海量圖像分類/標記數據，進一步擴大對象屬性檢測預訓練的規模；(2)將跨模態VL表徵學習的方法擴展到構建感知基礎的語言模型，可以像人類一樣將視覺概念建立在自然語言中，反之亦然。

微軟VinVL正在被整合到Azure認知服務中，Azure認知服務為微軟的各種服務提供支撐，如Seeing AI、Office和LinkedIn中的圖像字幕等。微軟研究團隊還將向公眾發布VinVL模型和源代碼。

了解更多：

https://www.microsoft.com/en-us/research/blog/vinvl-advancing-the-state-of-the-art-for-vision-language-models/