MIT 萬字論文解析：“好用”的自動輔助駕駛背後，是犧牲了“安全”嗎？保守來看，可能我們與真正意義上的自動駕駛汽車，還隔著幾十年的距離。在此之前，人機共駕可能會成為一種常態，人類不僅要參與到實際駕駛中，同時還要扮演“監察員”的角色，牢牢盯著人工智能係統的運行。

但正是這樣的“常態”，卻一直是自動駕駛行業的“沼澤地帶”。

在自動駕駛過程中出現突發狀況時，如何讓駕駛者及時且安全地接管控制汽車是一個汽車行業爭論已久的難題。而這也正是行業內稱作L3 級別自動駕駛、甚至是L2 級別自動輔助駕駛急需解決的問題：用戶到底該不該信任這一類“人工智能輔助的駕駛系統（AI-assisted driving system）” ？

其實業界針對自動化場景下人類行為的研究已經有超過70 年的歷史了。之前的研究表明：人類在交出控制權很長一段時間後，會自然地對可信賴的自動化機器產生過度信任的感情。

於是，如何平衡用戶信任和風險，成為了眾多車企和自動駕駛公司的“抉擇”。這迫使很多車企直接越過沼澤，放棄了這種中間狀態的“L3 級別自動駕駛”——“與其在技術不成熟時把責任轉嫁到消費者身上，倒不如真正踏實的致力於直接實現完全自動駕駛汽車。”

但是依舊有很多輔助駕駛功能帶來的體驗讓用戶“上癮”，包括能夠不斷升級的特斯拉Autopilot 系統。

其實針對Autopilot的安全性問題，業界對特斯拉頗有微詞。上月，美國國家交通安全委員會（NTSB）發布的調查報告顯示，3月份發生在美國佛羅里達州的一起特斯拉致死事故中，車禍發生時Autopilot處於激活狀態，且駕駛員雙手並沒有放在方向盤上。儘管特斯拉官方也一直在強調，Autopilot屬於輔助駕駛系統，開啟後駕駛員仍要手扶方向盤保持注意力集中。但事實上，之前很多起致死事故中，車主幾乎都處於“ 拖把 ”的狀態，完全將生命交給了一套功能仍有待完善的智能機器。

錯誤的特斯拉Autopilot 系統使用示範| 網絡用戶

“我們接受批評和建議，不過我們做的所有決定都是處於為客戶最佳體驗的考慮。”在今年第一季度的電話會議上，Elon Musk 解釋說，“這些嚴重事故大部分都發生在經驗豐富的駕駛員身上，這種盲目自信容易讓人放鬆警惕，導致了悲劇的發生。”但Musk 始終堅信自己的觀點：“Autopilot 比任何傳統汽車更加安全。”

針對這樣的行業難題，MIT 花費三年時間，以上億條的實驗數據來說明、討論和進一步拆解“信任”與“分險”以及“警惕性”之前的關聯。這項研究的論文已經公開發布（下載地址：http://t.cn/ECAfpUp），文中詳細記錄了該實驗的背景、操作方法、結論，同時對該研究存在的局限性進行了探討。極客公園對其中的重點內容進行了梳理，下面和大家逐一分享。

MIT 的“信任系統”

早在2016 年，麻省理工學院交通與物流中心的工作人員開始了一項特殊的針對自動駕駛技術的研究。通過蒐集大量真實駕駛數據，利用深度學習算法進行分析，目的是探明人類與AI 的互動機制，即“如何在不斷提昇道路安全的同時不犧牲駕駛的愉悅性”。

研究對象涵蓋了21 輛特斯拉車型（Model S 和Model X），2 輛沃爾沃S90，2 輛路虎攬勝極光以及2 輛凱迪拉克CT6。MIT 的工作人員要蒐集的是這些車輛在自然運行狀態下的駕駛數據，時間分為兩個階段：長期（駕駛時間超過1 年）和短期（駕駛時間為1 個月）。

實驗中使用的不同車型，絕大多數為特斯拉Model S、Model X | MIT

這些車輛都經過了小規模的改裝，額外加裝了三個攝像頭（一個用來監控駕駛員的面部特徵，一個用來採集駕駛員的肢體語言，另一個主要蒐集的是車頭正前方的道路環境信息），除了這些攝像頭提供的高分辨率視頻流外，研究人員還會對來自IMU、GPS、CAN 總線信息等數據進行記錄，通過不斷開發新的方法來分析這些海量數據。

目前這項研究仍在繼續中，參與人數達到了99 人，總行駛天數11846 天，累積里程40 多萬英里，共蒐集視頻幀數55 億條。

而背後支撐這項研究的技術，是一套由MIT 工作人員自行打造的軟硬件系統RIDER，又叫做“實時智能駕駛環境記錄系統”，由它來進行數據的蒐集和整理。這套系統除了有著靈活的硬件架構外，同時集成了大量的軟件框架，能夠將蒐集到的傳感器數據，借助GPU 驅動的計算內核進行分析，最終得到自動駕駛場景下關於人類駕駛員行為的信息。

下面這張圖可以幫助我們更好地理解從原始數據採集到最終信息輸出的整個過程。其中高級別的步驟包括：1）數據整理和同步；2）自動或半自動數據標註，語義解讀和信息提取；3）整體分析和視覺輸出

實驗中從原始數據採集到最終信息輸出的整個過程| MIT

值得一提的是，MIT 團隊在這項研究的基礎上還單獨針對Autopilot 系統進行了考察，目的是探究用戶在使用Autopilot 過程中是否會出現功能性警惕（functional vigilance）倒退的情況。

研究人員通過概念化的方式對“功能性警惕”這一指標進行了評估。它衡量的是駕駛員在使用Autopilot 過程中的自我管理能力，比如何時何地選擇開啟這項功能，同時也清楚了解手動接管車輛的時機。

目前根據對數據分析的結果得知，儘管駕駛員開啟Autopilot 行駛的里程佔總里程數的34.8%，但他們保持了相對程度很高的功能性警惕。這個結論是基於對18928 次Autopilot 系統脫離情況的標註得出的，通過一定量級的採樣證明了人類駕駛員在使用類似Autopilot 這種人工智能輔助的駕駛系統時，對一些具有挑戰性的場景依然能夠及時做出反應。

傳統研究駕駛員警惕性與MIT提出的“功能性警惕”的區別| MIT

MIT 這項實驗的主要目的是藉助對搭載Autopilot 特斯拉車型產生的真實駕駛數據進行分析，說明人機交互中常見的警惕性減退模式在AI 輔助駕駛（AI-assisted driving，也叫做L2 級自動駕駛，半自動駕駛等）並非固有的現象。這其中重要的意義在於，對企業在設計類似的基於人工智能的駕駛輔助系統時可能會有幫助，使駕駛員不會對機器過度信任，從而引發警惕性大幅降低的情況發生。

在論文的摘要部分，MIT 的工作人員表示，“希望這項研究能夠引起業界的討論和進一步的深入觀察。即針對駕駛輔助系統設計和應用中，某些功能是如何對參與其中的人類駕駛員形成影響的。以及我們在使用類似技術時如何既能夠保持與機器良好的協作性，同時不影響自己作為駕駛主體的警惕性和控制能力。”

耗時3 年多的實驗意義何在？

MIT 的整個研究是建立在人工智能以及機器人系統快速發展的全球化背景下進行的。就汽車而言，如何保證AI 應用能夠最大限度地提升駕駛安全並有效改善出行體驗，而不是增加風險，這是關鍵。而解決類似問題的核心在於要對人工智能輔助駕駛場景下的人類行為有更深入的理解，對駕駛員保持警惕性的能力進行充分評估，進一步加深對機器局限性的了解。

因為在一個充滿不確定性的世界裡，平衡信任和風險至關重要，分秒之間的判斷失誤就可能導致災難性後果的發生。

這項研究的著眼點是特斯拉的Autopilot 系統。按照美國汽車工程學會SAE 給出的定義和標準，它屬於L2 級自動駕駛系統，在人類駕駛員的監管下能夠實現一定程度的自動駕駛。不過為了避免過度解讀引起誤解，MIT 的工作人員在論文中捨棄了“自動駕駛”和“自動化”這樣的字眼，給予其“人工智能輔助的駕駛系統（AI-assisted driving system）”的定義，是為了說明Autopilot 現階段並不具備“全自動駕駛能力”，是一套始終需要人類監管的駕駛輔助系統。

由於特斯拉屬於大規模量產的車型，因此Autopilot 是目前個人使用率最高的駕駛輔助產品，它自然也成為研究和了解人類與AI 交互模式最合適的對象。參與實驗的特斯拉車型（Model S 和Model X）具備多種高級駕駛輔助功能，但這項研究主要以自適應巡航（Traffic Aware Cruise Control，交通感知巡航控制，簡稱TACC）以及車道保持（Autosteer ，自動轉向）功能為主，也就是說，特斯拉能夠在三種模式下駕駛：1）手動模式；2）TACC；3）Autopilot（TACC 和Autosteer 同時開啟）。

在數據採樣期間，由於特斯拉新一代FSD 自動駕駛芯片還未發布，因此實驗車型搭載的分別是HW1.0 和HW2.0 的硬件系統。其中HW1.0 包括了雷達的傳感器融合，超聲波傳感器以及由Mobileye 開發的單目攝像頭系統；而HW2.0 有8 個環視攝像頭，提供車身360°的環境感知能力，探測範圍在250 米，12 個升級的超聲波傳感器和1 個前向雷達。參與數據採集的21 輛特斯拉中，有16 台搭載了HW1.0，剩下的5 台是HW2.0。

截止到目前為止，從特斯拉2015 年10 月啟用Autopilot 開始，目前在該系統運行狀態下特斯拉車型的總行駛里程數已經超過了10 億英里。不過即使擁有如此龐大的里程數據，我們對Autopilot 系統在“何時、何地、以何種方式與人類進行互動”這些信息幾乎知之甚少，所以MIT 的研究人員希望藉助真實世界的數據進行更客觀、更有代表性的分析。

前面已經提到了，MIT 的團隊提出了一種評估駕駛員“功能性警惕”的方法，通過概念化的方式衡量駕駛員在使用Autopilot 過程中的自我管理能力，比如何時何地選擇開啟這項功能，同時也清楚了解手動接管車輛的時機。而評估駕駛員在Autopilot 系統開啟後對一些具有挑戰性場景的反應能力時，研究人員專注的是“棘手場景（tricky situation）”，即如果不注意的話，可能會導致車輛損害以及人員傷亡的場景。

通過對8682 起因遇到“棘手場景”而導致Autopilot 自動脫離的情況進行分析研究，結果表明駕駛員在使用Autopilot 過程中依然保持著很高程度的警惕，而符合這種情況的里程數佔數據總量的34.8%。這種對駕駛員何時、何地自主選擇使用Autopilot 能力的考察也是傳統方法研究駕駛員警惕性與MIT 提出的“功能性警惕”的一大區別。

這項研究最終得出兩個結論：1）在提供的真實駕駛數據中，特斯拉車主使用Autopilot 的行駛里程佔比非常高；2）駕駛員在Autopilot 系統開啟時並沒有出現因過度信任而出現警惕性明顯下降的現象。簡而言之，基於MIT 獲取的真實數據得知，用戶使用特斯拉Autopilot 的頻次很高，期間依然保持了相應程度的功能性警惕。下面的表格通過詳實的數據對上述第二個結論進行了說明。

表I-實驗人員對Autopilot 的脫離次數進行標註| MIT       

MIT 這項研究使用的數據來自於21 輛搭載了Autopilot 系統的特斯拉車型，總行駛里程達到了32.3384 萬英里。這些車型均為私人所有，除上面提到的改裝部分外，MIT 的團隊沒有對這些車輛的行駛範圍，Autopilot 開啟時間以及駕駛方式做任何限制，也沒有提供任何建議和指導。如下圖所示，該數據集中涵蓋的大部分的行駛區域位於大波士頓和新英格蘭地區，同時額外增加了從馬薩諸塞州到加州和佛羅里達州的行駛數據。

紅色代表了手動模式下車輛的形勢軌跡，而藍色代表了Autopilot 模式下車輛的行駛軌跡| MIT

在人工標註數據的過程中，工作人員需要同時觀看來自三個攝像頭採集的視頻數據，而Autopilot 相關係統的狀態，車輛的運動學特徵以及其他相關信號則採集自一條CAN 總線輸出的信息。而整個數據集中，包含了2.6638 萬條關於Autopilot 使用情況的“時間戳”。這裡一個Autopilot 時間戳的定義為，從駕駛員開啟Autopilot 算起到因人為或系統原因脫離為止的一段時間。而本項研究中針對“功能性警惕”的分析則重點集中在這個時間戳前5 秒後10 秒的數據部分。

此外，要對駕駛員的“功能性警惕”進行評估還需要對造成Autopilot 系統脫離的“關鍵事件（critical events，簡稱CE）”進行統計。MIT 的研究人員將其分成四類：CE1、CE2、CE3、CE4，其中對各自的定義如下：CE1：針對“棘手場景”，因為提前預知或及時作出反應，人類駕駛員主動脫離Autopilot 系統；CE2：在遇到“棘手場景”時，Autopilot 因無法解決而自動脫離；CE3：在Autopilot 運行時突然減速（例如，急踩剎車等），導致系統脫離；CE4：在Autopilot 運行時遭遇“棘手場景”，但未發生系統脫離或引起任何事故。

我們能發現些什麼？

1. 模式使用情況

如下圖所示，數據集中覆蓋了32.3384 萬英里的總行駛里程，其中有11.2427 萬英里是在Autopilot 運行工況下完成的，換算成相應的比例則是34.8% 的里程以及15.1% 的運行時間。從這兩個數字可以看出Autopilot 的使用頻次非常高，駕駛員通過使用這套系統獲得了相應的價值。相反，TACC 功能的開啟時間只有3%，因此在MIT 的研究中，忽略了對該工況的分析，主要精力放在了手動和Autopilot 兩種模式下的對比，因為它們構成了97% 的使用時間。

就目前觀察到的Autopilot 系統的脫離情況來看，目前Autopilot 仍處於技術發展初期，還具有不完善的地方，而它現在表現出的可依賴性決定了人類駕駛員對其產生的信任以及表現出的功能性警惕程度。

         試驗車輛在手動、TACC 以及Autopilot 工況下的使用時間及行駛里程| MIT 

2. Autopilot 運行時駕駛員的“功能性警惕”表現

在MIT 這項研究中，對“功能性警惕”的衡量，需要考察的是駕駛員能否及時有效地探查出CE1 和CE2 這兩種“關鍵事件”的發生。

在被標註的18928 個Autopilot 時間戳中，有8729 個被貼上了“棘手場景”的標籤，具體詳情請查看表I 的描述。而針對這個問題的分析，主要目標是得到標註了“應對棘手場景太遲”信息的時間戳數量。這些時間戳指的是沒有探查出或者對“關鍵事件”反應太慢，進而導致駕駛員“功能性警惕”大幅減退。從表I 提供的信息來看，在MIT 研究的數據集中，並沒有類似的情況出現。

表II 對“棘手場景”以及引起Autopilot 系統脫離的頻次進行了說明。“出現了一條彎道”是對系統脫離最常見的預判理由，而“車輛離車道、牆或者另一輛車太近了”是主動脫離系統最常見的原因。

這項數據分析得出的結果對今後人工智能輔助的駕駛系統的設計具有重要的指導性作用，畢竟這類產品的目的是高效應對那些人類駕駛員認為“棘手”的駕駛場景。

表II-對“棘手場景”的分類以及因主動脫離Autopilot 系統的情況中這些場景的發生頻次| MIT

“不要因為美好的事物不夠完美而反對它”

在對Autopilot 的模式使用情況以及駕駛員“功能性警惕”進行評估分析後，MIT 的研究人員發現，在考察的數據集中，用戶使用Autopilot 的頻次非常高，但並沒有對這套系統產生過度依賴從而導致功能性警惕的大幅衰減。他們針對這樣的結論提出了兩個原因的假設：1）探索性的心理；2）產品功能仍有待完善。後者可能是導致出現我們觀察到的駕駛員行為的重要原因。

從數據統計上來看，駕駛員平均每9.2 英里就會遭遇1 次“棘手場景”，在這種情況下，駕駛員能夠提前預知何時、何地會出現這種“棘手場景”或者及時脫離Autopilot系統，這佔據了總行駛時間的90.6%。在其他4.5% 的情況中，駕駛員能夠對系統脫離或“棘手場景”立即作出反應，這充分錶明了他們的“功能性警惕”程度非常高。

下面我們對上述兩個假設的原因做分別詳細的說明：

1）探索性的嘗試

在MIT 研究的數據集中，絕大多數Autopilot 運行的時間和區間都是在高速公路上自由行駛產生的，但也有部分Autopilot 的脫離記錄發生在普通道路上（比如沒有限速要求等的區域）。這可能說明了用戶一般情況下都會去探索類似系統在“設計運行區域”（opertioanl design domans，簡稱ODD）之外場景工作的能力。這種通過探索學習的方式可能會讓用戶更深入地了解類似駕駛輔助系統能力的局限性，進而用於應對論文中描述的各種“棘手場景”。

而之所以提出這種假設，是基於MIT 團隊與特斯拉車主的討論以及通過真實道路駕駛數據的分析得出的。未來通過更大量的數據以及進一步的分析，這個假設很可能會得到進一步驗證，但也有可能會被推翻。

2）產品功能仍有待完善

就目前業界獲得的共識，作為一種基於人工智能技術打造的駕駛輔助系統，Autopilot 並非有足夠的能力來應對駕駛過程中可能發生的任何極端事件。從MIT 研究的數據來看，46.2% 的系統脫離是因為人類駕駛員預料到或因為遭遇了“棘手場景”發生的，而換算成相應的比率，在Autopilot 運行過程中，這種類型的脫離情況平均每9.2 英里就會發生一次。這意味著Autopilot 系統經常會變得“不靠譜”，需要人類駕駛員及時進行接管。因此從工程角度出發考慮，基於這樣的數據，今後的產品應該要將這種“失誤率”降得更低才行。

簡單來說，駕駛員知道Autopilot 並不完美，以及駕駛員在嘗試Autopilot 更多的使用場景，此兩種情況都讓駕駛員格外專注。這才使得駕駛員的“功能性警惕”並未出現大幅衰退。換言之，“不要因為美好的事物不夠完美而反對它”。

一套表現出色的AI輔助駕駛系統可能還達不到99.99…%的完美，但首先企業應該清楚地認識到它的不完善性，並將這個認識完整的傳遞給消費者，並持續改進迭代使其朝著更完美的方向發展，這才是設計產品應該有的邏輯。

Autopilot 們，前路何方？

儘管MIT 的這項研究表明，在Autopilot 使用過程中，人類駕駛員的“功能警惕性”並未出現大幅衰減。然而我們可能還是不太清楚類似Autopilot 這樣的基於AI 的駕駛輔助系統該如何設計，才能最大程度優化“功能性警惕”的表現。

MIT 的研究人員認為有兩條建議可能會對駕駛員“功能性警惕”框架的管理產生潛在的有益影響，詳細內容見下圖。

兩種對現有“功能性警惕”框架的擴充方式| MIT      

1）第一種是建立反饋閉環的機制。

它包括了對駕駛員狀態感知和管理的概念，允許機器對作為整套系統監管者的駕駛員進行監控，在探測到功能性警惕減退，注意力不集中或任何偏離合理表現的行為時給予警告。而要實現這樣的監管，可以採取在方向盤上加裝傳感器或增加基於攝像頭的駕駛員監控系統DMS（例如凱迪拉克的Super Cruise 就配備了類似的技術）。

         MIT 實驗中通過安裝朝向駕駛員面部的攝像頭對其進行更好的監控| MIT

2）第二種是配置額外的感知控制系統。

通過增加第三方的系統作為對車輛主要自動駕駛系統的監管，在主駕駛系統提供感知和決策功能的同時，一旦出現異常能夠及時提供冗餘保護。

總的來說，這兩種MIT 提出的建議互相配合，目的是為功能性警惕框架中人類和機器的表現進行更好的管理。此外，這也有助於在駕駛過程中遇到CE4 這類“關鍵事件”時，能夠提供額外的保護。因為受限於實驗數據庫樣本數量的限制，目前還沒有監測到該事件的發生，但在真實道路環境中CE4 這種情況是存在的。

所以MIT 的工作人員認為這項研究同樣存在著一定的局限性，譬如無法基於實驗的分析來說明Autopilot 這套系統的安全性如何，因為需要對碰撞相關的數據進行分析，也就是說目前的數據量還不夠。此外，他們認為類似DMS 這種注意力管理系統如果能在“功能性警惕”框架上進行應用的話，是能夠鼓勵駕駛員更專注於道路交通狀況的。

不過特斯拉CEO 埃隆•馬斯克可能並不這麼認為。他在與MIT 的助理研究員Lex Fridman 進行一場線上對談時是這麼說的： If you have a system that’s at or below a human level of reliability, then driver monitoring makes sense. But if your system is dramatically better, more reliable than a human, then driver monitoring does not help much.“如果這套駕駛輔助系統和人類一樣可靠，或者說還不如你，那麼駕駛員監控系統DMS 的存在是必要的。但如果你使用的是Autopilot，它太棒了，比人類都要靠譜得多，所以特斯拉的車上並不需要安裝DMS。”

馬斯克的“謎之自信”

Fridman 在訪談中也提到了產品的“設計運行區域”問題。相比之下，通用凱迪拉克的Super Cruise 只能在已經完成高精度地圖測繪的、固定的高速公路區域行駛，從ODD 的層面來說，它要比Autopilot 窄得多。不過在他看來，這種產品設計的邏輯有利有弊。好處是特斯拉的車主能夠更充分地了解到Autopilot 系統的局限性，特別是在最開始使用的時候，配合儀表顯示器的信息，他們能夠對可實現的駕駛輔助功能有足夠的認知。但壞處是，Autopilot 幾乎可以在任何區域使用。

針對此馬斯克回應稱，“只要係統能夠感知道路的地方，就是Autopilot 可以運行的區域。”他同時指出，“老實說，我覺得讓人開著兩頓重的死亡機器是件很瘋狂的事情。未來人肯定是要被剝奪掉駕駛權的，那個時候你想去哪裡，汽車會通過自動駕駛的方式來實現。”

而在問及技術層面上要實現全自動駕駛需要解決哪些難題時，馬斯克的回答蠻有意思的。

他說，“我們在前不久推出的FSD 計算平台已經投入量產，它具備實現全自動駕駛的基礎計算能力，剩下的神經網絡和控制軟件，我們可以通過後續的OTA 不斷迭代。所以特斯拉車型的軟件能力今後會有突破，Autopilot 系統的可靠性也會大幅提升，未來只需要得到監管層面的許可就可以了。”馬斯克甚至把購買特斯拉比作是“投資未來”，他認為“特斯拉是一件具備升值能力的產品。”

而在問題重新回到“人”這個著眼點時，Fridman 認為目前像Waymo、Uber 這些在進行道路測試的公司，只是技術上所謂的L4 級自動駕駛，實際上它們屬於有著不同設計邏輯的L2 級系統，因為總是會有一個安全員全程參與，時刻監視著機器的運行。所以他向馬斯克提出了這麼一個問題，“既然你說特斯拉的Autopilot 已經具備了自動駕駛的計算能力，什麼時候你認為它才能夠不需要人類的監管，實現真正的無人駕駛呢？ ”

對此，馬斯克回答稱，“從現在開始，Autopilot 至少還需要6 個月的時間去監測駕駛員是否把手放在方向盤上。而且主要問題是，從政府監管部門的角度出發，Autopilot 需要達到比人駕駛多高的安全程度，才可以將人的駕駛權去掉。業界針對這個問題有很多爭論，你需要大量的數據來證明，機器開車要比人安全得多。我認為，這個比率需要達到200 % 或300% 才可以。”

“至於我是如何得出這個數據的，”馬斯克答道，“主要是根據每英里發生事故的頻次進行推算的。目前從規模上來看，我們沒有獲得那麼多關於交通致死的數據，所以主要是基於交通事故率來分析的。其他的，比如受傷的概率，包括永久傷害或死亡的可能性，也在分析範圍內，最後計算出來的比例，至少機器要比人靠譜200% 以上才可能不需要被監管。”

Autopilot 的阿克琉斯之踵

其實針對Autopilot 的安全性問題，業界對特斯拉頗有微詞，特別是上個月召開的投資者大會上，馬斯克對友商們“使用激光雷達的做法一頓噴”更是激起了自動駕駛技術領域的激烈討論。不過就像MIT 這項研究給出的結論，Autopilot 目前仍有許多不足，還需要不斷完善，所以駕駛員在系統運行時需要對車輛實時監控，一旦有危險的徵兆或棘手的情況發生，手動接管是最安全穩妥的。

上月，美國國家交通安全委員會（NTSB）發布的調查報告顯示，3 月份發生在美國佛羅里達州的一起特斯拉致死事故中，車禍發生時Autopilot 處於激活狀態，且駕駛員雙手並沒有放在方向盤上。

儘管特斯拉官方也一直在強調，Autopilot 屬於輔助駕駛系統，開啟後駕駛員仍要手扶方向盤保持注意力集中。但事實上，之前很多起致死事故中，車主幾乎都處於“拖把”的狀態，完全將生命交給了一套功能仍有待完善的智能機器。這也是為什麼MIT 的團隊給出了額外的建議，希望Autopilot 能配置相應的駕駛員監控系統，同時還應該做好相應的冗餘配置，一旦駕駛員鬆開方向盤立即給予聲音和視覺層面的警告是十分必要的。

但在馬斯克看來，Autopilot 的能力遠在人類駕駛員之上，不需要增加類似DMS 這種額外的功能。而這種對自己產品的“迷之自信”映射到產品上，也成了Autopilot 的阿克琉斯之踵。

從2018 年第三季度開始，特斯拉陸續公佈了一系列車輛安全報告，提供本季度特斯拉車輛造成的事故數量（無論Autopilot 是否啟用）。根據從官網獲取的信息來看，2018 年Q3，Autopilot 開啟狀態下的平均事故率為每334 萬英里發生一起，而手動模式下的平均事故率為每192 萬英里發生一起。而2019 年Q1 的最新數據顯示，這兩個數字均有下降，分別為1 起/287 萬英里、1 起/176 萬英里。

         特斯拉每個季度會在官網發布車輛安全報告| Tesla 

而美國國家交通公路安全管理局（NHTSA）公佈的最新數據，全美境內乘用車的事故率為平均每43.6 萬英里會出現一例，它包括了所有安裝與未安裝類似Autopilot 系統的車輛。對比來看，特斯拉似乎依然配得上“世界上最安全汽車”的頭銜。

儘管Autopilot 這套系統仍有很多缺點，但毫無疑問它從很大程度上改變了用戶的駕乘體驗。比如特斯拉已經去年10 月在北美開放了Navigate on Autopilot 功能，支持自動駛入和駛出高速公路閘道，同時還能實現自動並道，這已經接近限制場景下（高速公路等）的L3級自動駕駛能力。

在上個月面向投資人的“Autonomy Day”活動中，馬斯克表示“2020 年將實現全自動駕駛的目標。”儘管外界對這一說法充滿了質疑，但隨著FSD 計算平台的加持，Autopilot的自動化能力正朝著更高水平迭代，已經是不爭的事實。

但更重要的是，一套表現出色的AI 輔助駕駛系統可能還達不到99.99…% 的完美，但首先企業應該清楚地認識到它的不完善性，並將這個認識完整的傳遞給消費者，並持續改進迭代使其朝著更完美的方向發展，這才是設計產品應該有的邏輯。