現在一句口令，就能指揮汽車了。比如說聲「我開會要遲到了」「我不想讓我朋友等太久」等等，車就能理解，並且自動加速起來。如果這次行程有不滿意的，只需要給汽車提供反饋建議：“要在充分保障安全的前提下”，汽車的自動駕駛行為就會在下次行程中進行自我修正。

這是來自普渡大學數位孿生實驗室最新研究——

讓大語言模型部署在自動駕駛實車上，在多個交通場景，例如停車場、十字路口和高速上理解乘客的各種個人化指令，建構他們的數位孿生。

最終在眾多大模型的實驗中，GPT-4脫穎而出。

更多細節在此。基於LLM的自動駕駛系統

而這背後的實現，主要來自於一個框架Talk2Drive。

這個框架主要有三個特點：

1、它將人類口頭命令轉換為文字指令，然後由雲端的大模型來處理。過程中會用到一些語音辨識的開源API，例如Whisper，準確捕捉口令並翻譯成文字。雲上的大模型結合天氣、交通狀況和當地交通規則等信息，產生上下文駕駛數據。

2、大模型產生特定的自動駕駛代碼，隨後發送回車輛的電子控制單元（ECU）並在其中執行。

代碼執行涉及調整基本駕駛行為以及車輛規劃和控制系統中的各種參數。

隨後，車輛的執行器透過CAN總線和線控系統控製油門、煞車、檔位選擇和轉向。

3.車輛的存儲模組秉承”千人千面“的理念，記錄著所有人車交互數據，確保每次行駛體驗都是基於乘客的歷史偏好和實時命令進行定制，實現真正意義上的數字孿生個性體驗。

經過一眾大模型對比，他們最終選擇GPT-4，因為它的延遲相對較小，以及推理能力更強。

在Talk2Drive 系統中，三類不同駕乘偏好的乘客以口頭化的指令表達與大模型進行交互，以促使系統做出相應調整。當乘客對調整後的自動駕駛行為不滿意時會關閉自動駕駛模式，系統也會記錄這種情況下的「接管」。

結果顯示，無論駕乘偏好如何，Talk2Drive都能顯著降低接管率。

這輛全副武裝的自動駕駛汽車和大語言模型API協作完成了這項研究。

來自普渡大學數位孿生實驗室

這項研究來自普渡大學數位孿生實驗室。

從研究團隊來看，大部分都是華人面孔。

其中一作Can Cui目前是普渡大學一年級博士生。在加入普渡大學工程學院之前，在密西根大學獲得了電機與電腦工程碩士學位。本科畢業於武漢理工大學。

其導師王子然博士，在2022年加入普渡大學之前，曾在豐田矽谷研發中心任職四年，以主任研究員的身份領銜數位孿生的相關研究。

根據介紹，普渡數位孿生實驗室從2023年6月開始深耕大語言模型和自動駕駛交叉領域，進行了包括文獻綜述、創立公開資料集、模擬環境測試、以及主辦研討會等一系列工作。

來源：量子位