據外媒New Atlas報導，增強現實技術已經可以讓人們在購買前將家具擺放在房間裡，將照片拍得栩栩如生，並在街頭進行遊戲。現在，增強現實技術可以讓一個栩栩如生的虛擬人物在人們的前廳表演一首歡快版的貝多芬經典作品。

The Piano Guys與AR/VR開發商Massive Technologies合作，讓樂隊的Jon Schmidt“坐在”人們家裡的鋼琴前或虛擬的鋼琴前。

Massive Technologies已經生成了一個逼真的Schmidt頭像，可以“以完全的視覺和音樂精度”進行表演。智能手機或平板電腦用戶只需啟動AR Pianist iOS/Android應用，將設備的後置攝像頭對準任何一架鋼琴，應用就會將Schmidt放在鍵盤前。

該應用利用機器學習將虛擬演奏家放置在鋼琴旁，精確度在一厘米之內，設備持有者可以在空間內移動6個自由度，從任何角度觀看他的演奏。如果用戶想用這種體驗向大師學習，播放速度可以放慢100倍。

彈奏時突出音符的樂譜也會在應用中滾動，以幫助學習，還有一個視圖會在屏幕上亮起並對琴鍵進行顏色編碼，讓學生在自己的鋼琴上“與Jon一起演奏”。這款應用可以利用移動設備的麥克風聽出音調的差異，並能提供實時反饋。

當然，現實世界中鋼琴的琴鍵不會移動，樂器也會保持靜音，但在屏幕上，彈奏區域會栩栩如生，移動設備的揚聲器也會響起個人在家音樂會的音符。也就是說，如果用戶有一台配備MIDI的原聲鋼琴或數碼鋼琴，這款應用可以無線觸發音符在家中鋼琴上發出聲音。

“任何88鍵的鍵盤樂器，無論是原聲的還是數字的，都可以工作，但如果一個人根本沒有鋼琴，這也不是什麼障礙，”視頻製作經理和The Piano Guys的官方“技術人員”Craig Knudsen解釋說。“在這種情況下，AR Pianist將識別一個清晰的地板空間或桌面，並提供一個詳細的雅馬哈C7 Neo音樂會三角琴的3D模型，在The Piano Guys的許多唱片和專輯封面上都有體現。 ”

The Piano Guys為他們在AR Pianist上的首次亮相所選擇的曲目來自他們的最新專輯《10》–其中包括一首貝多芬《致愛麗絲》的改編版，正好趕上這位古典作曲家下個月的250歲生日。這款應用還包括一個不斷增長的由世界級演奏家演奏的曲庫，但只有《致愛麗絲》的特色是Jon Schmidt的動作捕捉3D頭像。其他的則是一個普通演奏家的頭像。

據報導，該應用兼容過去幾年發布的大多數智能手機和平板電腦，但那些包裝激光雷達技術的設備，如iPhone 12，或ToF傳感器，如三星Galaxy S20，將有一個改進的體驗。

AR Pianist應用是免費下載的，但需要每週支付2.99美元或每年59.99美元的訂閱費，就可以無限次使用所有歌曲和高級功能。該應用的未來計劃包括一個完整的AR/VR版本，將與Oculus Quest等頭顯配合使用。