Skip to content
WONGCW 網誌
  • 首頁
  • 論壇
  • 微博
  • 壁紙下載
  • 免費圖床
  • 視頻下載
  • 聊天室
  • SEO工具
  • 支援中心
  • 表格製作
  • More
    • 在線名片
    • 網頁搜索
    • 天氣預報
    • 二維碼生成器
    • WordPress 插件及主題下載
  • Search Icon

WONGCW 網誌

記錄生活經驗與點滴

訓練出ChatGPT需要消耗多少電力?

訓練出ChatGPT需要消耗多少電力?

2023-03-11 Comments 0 Comment

AI已經重新成為科技行業的熱門話題,預計它將徹底改變從零售到醫藥等價值數万億美元的行業。但每創造一個新的聊天機器人或圖像生成器都需要耗費大量的電力,這意味著這項技術可能釋放大量溫室氣體,進而加劇全球變暖問題。

微軟、谷歌和ChatGPT製造商OpenAI都要使用雲計算,而云計算依賴於全球海量數據中心服務器內數以千計的芯片來訓練被稱為模型的AI算法,分析數據以幫助這些算法“學習”如何執行任務。ChatGPT的成功促使其他公司競相推出自己的AI系統和聊天機器人,或者開發使用大型AI模型的產品。

與其他形式的計算相比,AI需要使用更多的能源,訓練單個模型消耗的電力超過100多個美國家庭1年的用電量。然而,雖然AI行業增長非常快,但卻不夠透明,以至於沒有人確切知道AI的總用電量和碳排放量。碳排放量也可能有很大差異,這取決於提供電力的發電廠類型,靠燒煤或天然氣發電供電的數據中心,碳排放量顯然高於太陽能或風力發電支持的數據中心。

雖然研究人員已經統計了創建單一模型所產生的碳排放量,有些公司也提供了有關他們能源使用的數據,但他們沒有對這項技術的總用電量進行總體估計。AI公司Huging Face研究員薩莎·盧西奧尼(Sasha Luccioni)寫了一篇論文,量化了她旗下公司Bloom的碳排放情況,Bloom是OpenAI模型GPT-3的競爭對手。盧西奧尼還試圖根據一組有限的公開數據,對OpenAI聊天機器人ChatGPT的碳排放情況進行評估。

提高透明度

盧西奧尼等研究人員表示,在AI模型的電力使用和排放方面,需要提高透明度。有了這些信息,政府和公司可能會決定,使用GPT-3或其他大型模型來研究癌症治療或保護土著語言是否值得。

更高的透明度也可能帶來更多的審查,加密貨幣行業可能會提供前車之鑑。根據劍橋比特幣電力消耗指數,比特幣因其耗電量過大而受到批評,每年的耗電量與阿根廷一樣多。這種對電力的貪婪需求促使紐約州通過了一項為期兩年的禁令,暫停向以化石燃料發電供電的加密貨幣採礦商發放許可證。

GPT-3是功能單一的通用AI程序,可以生成語言,具有多種不同的用途。2021年發表的一篇研究論文顯示,訓練GPT-3耗用了1.287吉瓦時電量,大約相當於120個美國家庭1年的用電量。同時,這樣的訓練產生了502噸碳,相當於110輛美國汽車1年的排放量。而且,這種訓練只適用於一個程序,或者說是“模型”。

雖然訓練AI模型的前期電力成本巨大,但研究人員發現,在某些情況下,這只是模型實際使用所消耗電力的40%左右。此外,AI模型也在變得越來越大。OpenAI的GPT-3使用了1750億個參數或變量,而其前身僅使用了15億個參數。

OpenAI已經在研究GPT-4,而且必須定期對模型進行再訓練,以保持其對時事的了解。卡內基梅隆大學教授艾瑪·斯特魯貝爾(Emma Strubell)是首批研究AI能源問題的研究人員之一,她說:“如果你不對模型進行再訓練,它甚至可能不知道何為新冠肺炎。”

另一個相對的衡量標準來自谷歌,研究人員發現,AI訓練佔該公司總用電量的10%至15%,2021年該公司的總用電量為18.3太瓦時。這意味著,谷歌的AI每年耗電量達2.3太瓦時,大約相當於亞特蘭大所有家庭的1年用電量。

科技巨頭做出淨零承諾

雖然在許多情況下,AI模型變得越來越大,但AI公司也在不斷改進,使其以更高效的方式運行。微軟、谷歌和亞馬遜等美國最大的雲計算公司,都做出了碳減排或淨零承諾。谷歌在一份聲明中表示,到2030年,該公司將在所有業務中實現淨零排放,其目標是完全使用無碳能源運營其辦公室和數據中心。谷歌還在使用AI來提高其數據中心的能效,該技術直接控制設施中的冷卻系統。

OpenAI也列舉了該公司為提高ChatGPT應用程序編程接口的效率所做的工作,幫助客戶降低了用電量和價格。OpenAI發言人表示:“我們非常認真地承擔起阻止和扭轉氣候變化的責任,我們對如何最大限度地利用我們的計算能力進行了很多思考。OpenAI運行在Azure上,我們與微軟團隊密切合作,以提高運行大型語言模型的效率並減少碳排放。”

微軟指出,該公司正在購買可再生能源,並採取其他措施,以實現之前宣布的目標,即到2030年實現淨零排放。微軟在聲明中稱:“作為我們創造更可持續性未來承諾的一部分,微軟正在投資於研究,以衡量AI的能源使用和碳排放影響,同時致力於提高大型系統在培訓和應用方面的效率。”

耶路撒冷希伯來大學教授羅伊·施瓦茨(Roy Schwartz)與微軟的一個團隊合作,測量了一個大型AI模型的碳足跡。他表示:“顯然,這些公司不願透露他們使用的是什麼模型,以及它排放了多少碳。”

有些方法可以讓AI更高效地運行。能源諮詢公司Wood Mackenzie的本·赫茲-沙格爾(Ben Hertz-Shargel)表示,由於AI訓練可以隨時進行,開發者或數據中心可以將訓練安排在電力更便宜或過剩的時候,從而使它們的運營更加環保。AI公司在電力過剩時訓練自己的模型,然後可以在營銷中將其當成一大賣點,以此表明他們注重環保。

芯片運行耗電量驚人

大多數數據中心使用圖形處理單元(GPU)來訓練AI模型,這些組件是芯片行業製造的最耗電組件之一。摩根士丹利分析師本月早些時候發布的一份報告稱,大型模型需要數万個GPU,培訓週期從幾周到幾個月不等。

AI領域更大的謎團之一是與所使用芯片相關的碳排放總量。最大的GPU製造商英偉達表示,當涉及到AI任務時,他們的芯片可以更快地完成任務,總體上效率更高。

英偉達在聲明中表示:“與使用CPU相比,使用GPU來加速AI速度更快,也更高效。對於某些AI工作負載來說,能效通常可以提高20倍,對於生成式人工智能必不可少的大型語言模型,能效則可提高300倍。”

盧西奧尼說,雖然英偉達已經披露了與能源相關的直接排放和間接排放數據,但該公司並沒有透露更多細節。她認為,當英偉達分享這些信息時,我們可能發現GPU消耗的電量與一個小國用電量差不多,“這可能會讓人抓狂”!

分享此文:

  • 分享到 Twitter(在新視窗中開啟)
  • 按一下以分享至 Facebook(在新視窗中開啟)
  • 分享到 WhatsApp(在新視窗中開啟)
  • 按一下以分享到 Telegram(在新視窗中開啟)
  • 分享到 Pinterest(在新視窗中開啟)
  • 分享到 Reddit(在新視窗中開啟)
  • 按一下即可分享至 Skype(在新視窗中開啟)
  • 按一下即可以電子郵件傳送連結給朋友(在新視窗中開啟)
  • 點這裡列印(在新視窗中開啟)

相關


網絡資訊

Post navigation

PREVIOUS
微軟:多模態大模型GPT-4下週就出
NEXT
神奇聯動:吃KFC炸雞“漢堡”獲《暗黑4》測試資格

發表迴響 取消回覆

這個網站採用 Akismet 服務減少垃圾留言。進一步了解 Akismet 如何處理網站訪客的留言資料。

More results...

Generic filters
Exact matches only
Search in title
Search in content
Search in excerpt
Filter by 分類
網站公告
Featured
限時免費
ESET NOD32
WINDOWS 10 &11 INSIDER PREVIEW
Windows 軟件下載
系統軟件
辦公軟件
圖像處理
影音媒體
網絡軟件
應用軟件
Mac 軟件下載
安卓軟件下載
網絡資訊
Mac資訊
Linux資訊
VPS資訊
NASA資訊
金融資訊
WhatsApp Stickers教學
WordPress資訊
WeChat資訊
PHP資訊
Plesk資訊
TensorFlow
教學資源
開源程序
網頁工具
SEO工具
醫療健康
旅遊及消閒
其他資訊
Content from
Content to
2023 年 3 月
一 二 三 四 五 六 日
 12345
6789101112
13141516171819
20212223242526
2728293031  
« 2 月    

分類

  • 網站公告
  • 限時免費
  • ESET NOD32
  • WINDOWS 10 &11 INSIDER PREVIEW
  • Windows 軟件下載
  • 系統軟件
  • 辦公軟件
  • 圖像處理
  • 影音媒體
  • 網絡軟件
  • 應用軟件
  • Mac 軟件下載
  • 安卓軟件下載
  • 網絡資訊
  • Mac資訊
  • Linux資訊
  • VPS資訊
  • NASA資訊
  • WhatsApp Stickers教學
  • WordPress資訊
  • WeChat資訊
  • PHP資訊
  • Plesk資訊
  • TensorFlow
  • 教學資源
  • 開源程序
  • 網頁工具
  • SEO工具
  • 醫療健康
  • 旅遊及消閒
  • 其他資訊

彙整

近期文章

  • 博主硬核拆解特斯拉Model 3剎車助力泵展示工作原理 2023-03-25
  • 小彭汽車向小鵬汽車道歉盤點那些神級模仿的老年代步車 2023-03-25
  • 氣候變化在全球範圍內增加了人類與野生動物的衝突 2023-03-25
  • 《聖鬥士星矢》真人電影預告5月12日北美上映 2023-03-25
  • 《三體》動畫今日正式完結豆瓣評分僅獲3.8分 2023-03-25
  • 美妝品牌露詩聯動任天堂推出馬里奧兄弟主題沐浴露 2023-03-25
  • GPT-4滿分第一名通過大廠模擬面試微軟154頁研究刷屏 2023-03-25
  • 微軟警告:新推AI工具不得使用必應數據庫否則限制訪問! 2023-03-25
  • 聯網之後的ChatGPT 已經遠不止“iPhone時刻”那麼簡單 2023-03-25
  • 時隔9年賈躍亭的FF91終於要開始生產了 2023-03-25

熱門文章與頁面︰

  • DP vs HDMI 誰才是遊戲玩家最佳選擇?
  • 打車叫到特斯拉不會開門很尷尬?官方介紹開關門方法
  • ESET NOD32 LICENSE KEY (UPDATED 2023-01-17)
  • 世界上有多少個國家
  • Explorer Patcher:讓Windows 11恢復Windows 10的行為特徵
  • Windows及OFFICE激活密鑰+電話激活教程–自用
  • 微信消息撤回也沒用???這些辦法都能查看撤回的內容
  • 貝貝BiliBili – 在線一鍵下載B站視頻,可解析播放!
  • NVIDIA H100 Hopper加速計算卡上市:配備80GB顯存價格超24萬元
  • 讓WIN10去強制縮放那些不支援DPI縮放的軟體或遊戲

投遞稿件

歡迎各界人士投遞稿件到admin@wongcw.com

請提供以下資料:

1.你的名字

2.你的電郵

3.分類目錄

4.文章標題

5.文章摘要

6.文章內容

7.文章來源

 

聯繫我們

查詢,投稿,商務合作:
​admin@wongcw.com
​技術支援:
​support@wongcw.com
​客户服務:
​cs@wongcw.com

QQ群:833641851

快帆

MALUS

極度掃描

DMCA.com Protection Status

WONGCW 網誌

  • 免責聲明
  • 捐助我們
  • ThemeNcode PDF Viewer
  • ThemeNcode PDF Viewer SC
  • Events

服務器提供

本站使用之服務器由ikoula提供。

聯繫我們

查詢,投稿,商務合作:
​admin@wongcw.com
​技術支援:
​support@wongcw.com
​客户服務:
​cs@wongcw.com

QQ群:833641851

© 2023   All Rights Reserved.