研究發現AI程式設計助理無法提高工作效率或防止職業倦怠
開發人員本應是生成式人工智慧發展的最大受益者之一,因為特殊工具可以讓程式碼編寫變得更快、更容易。 但根據程式指標分析公司Uplevel 最近的一項研究,生產力的提升並沒有實現,至少目前還沒有。
這項研究追蹤了約800 名開發人員,比較了他們在三個月內使用和不使用GitHub 的Copilot程式設計助理時的產出。 令人驚訝的是,在衡量拉取請求週期時間和吞吐量等關鍵指標時,Uplevel 發現使用Copilot 的用戶並沒有獲得有意義的改進。
Uplevel 的數據分析師 Matt Hoffman向《資訊長》(CIO)雜誌解釋說,他們的團隊最初認為,由於開發人員在提交程式碼之前使用了人工智慧工具來幫助審核程式碼,因此開發人員將能夠編寫更多程式碼,缺陷率也可能會下降。 但他們的研究結果卻打破了這些預期。
根據《資訊長》報道,事實上,研究發現,使用Copilot 的開發人員在程式碼中引入的錯誤多出了41%。 Uplevel 也沒有發現任何證據顯示人工智慧助理有助於防止開發人員倦怠。
這項消息反駁了Copilot 的製造商GitHub 和其他人工智慧程式設計工具支持者關於大幅提高工作效率的說法。 早些時候,GitHub 贊助的一項研究稱,在Copilot 的幫助下,開發人員編寫程式碼的速度提高了55%。
鑑於Copilot 早期的一份報告顯示近30% 的新程式碼涉及人工智慧輔助,開發人員確實看到了積極的成果,而這一數字很可能還在增加。 不過,使用量增加背後的另一種可能是程式設計師產生了依賴性,變得懶惰。
在實際工作中,人工智慧程式設計助理的使用體驗迄今為止好壞參半。 在客製化軟體公司Gehtsoft USA,執行長Ivan Gekht 告訴《資訊長》,他們發現人工智慧產生的程式碼在理解和調試方面具有挑戰性,因此有時從頭開始重寫會更有效率。
去年的一項研究顯示,ChatGPT 答錯了一半以上的程式設計問題,這似乎印證了他的看法,儘管自那以後,聊天機器人經過多次更新後已經有了很大改進。
Gekht 補充說,軟體開發”90% 是大腦的功能–理解需求、設計系統、考慮限制和約束”,而將所有這些轉化為程式碼則是工作中較為簡單的部分。
然而,在雲端運算供應商Innovative Solutions,技術長Travis Rehl 報告說,由於使用了Claude Dev 和Copilot 等工具,開發人員的工作效率提高了三倍。
這些相互矛盾的說法凸顯出,我們可能仍處於人工智慧程式設計助理的早期階段。 但隨著工具的快速發展,誰知道它們的未來會走向何方呢?