蘋果在WWDC 2020期間介紹了面向iOS 14和macOS Big Sur開發者的視覺框架更新，現已支持圖像和視頻中的人體與手部姿勢檢測。應用程序可藉此分析目標人物的姿勢、動作和手勢，為潛在的交互體驗開闢了更多的可能。由官方提供的示例可知，健身應用將可自動追踪用戶是否有效地完成了鍛煉動作。

手勢檢測有望帶來用戶與App 交互的新方式，比如安全培訓App 可幫助員工檢查其是否學習到位、媒體編輯軟件亦可基於姿勢的相似性而找到對應的照片或視頻。

此外蘋果官方演示了一個人如何在半空中捏起拇指和食指，然後在不觸碰iPhone屏幕的情況下進行繪製。

App 開發者能夠基於新的視覺框架，在比出特定手勢的用戶手上覆蓋顯示相應的圖形或表情符號。

或者在相機應用中引入這一功能，當檢測到用戶比出手勢時自動觸發拍照。

此前蘋果已經在ARKit中提供了類似的功能，但僅限於增強現實會議類應用，並且只能在兼容的iPhone或iPad設備上使用後置攝像頭來實現。

現在，新版視覺框架可在一個場景中檢測多隻手或多人的身體動作。但在用戶佩戴了手套、彎腰、倒立、穿著長袍、靠近畫面邊緣、或部分被遮擋的情況下，效果有可能打一定的折扣。