Delavande:可估算AI聊天機器人訊息消耗電量的工具
你是否想過,當你提示或感謝人工智慧模型時,會消耗多少電力? Hugging Face 工程師Julien Delavande 就曾想過這個問題,因此他開發了一個工具來幫助你找到答案。

人工智慧模型每次運行時都會消耗能源。它們運行在GPU 和專用晶片上,需要大量電力才能大規模執行相關的運算工作。確定模型的功耗並非易事,但人們普遍預計,人工智慧技術的日益普及將在未來幾年推動電力需求達到新的高度。
人工智慧對更多電力的需求,導致一些公司採取了不環保的策略。像Delavande 這樣的工具旨在引起人們對此問題的關注,或許也能讓一些人工智慧使用者有所顧慮。
Delavande 和該工具的其他創建者在一份聲明中寫道:“即使很小的節能效果也可以擴展到數百萬個查詢——模型選擇或輸出長度可能會對環境造成重大影響。”
Delavande 的工具旨在與Chat UI 配合使用,Chat UI 是Meta 的Llama 3.3 70B 和Google 的Gemma 3 等模型的開源前端。該工具即時估算模型發送和接收訊息的能耗,並以瓦時或焦耳為單位報告能耗。它還將模型的能耗與微波爐和LED 等常見家用電器的能耗進行比較。
根據該工具,請Llama 3.3 70B 編寫一封典型的電子郵件大約需要0.1841 瓦時- 相當於運行微波爐0.12 秒或使用烤麵包機0.02 秒。
不過,該工具的估算只是估算而已。 Delavande 並沒有聲稱它們非常精確。儘管如此,它們仍然提醒我們,一切事物——包括聊天機器人——都是有代價的。
「透過人工智慧能源評分等項目以及對人工智慧能源足跡的更廣泛研究,我們正在推動開源社群的透明度。總有一天,能源使用可以像食品上的營養標籤一樣清晰可見!」德拉萬德和他的聯合創始人寫道。