ChatGPT背後的AI技術誕生於愛荷華州用了很多水
打造像ChatGPT 這樣的人工智能產品的成本很難衡量。微軟支持的OpenAI 的技術需要大量的水,這些水來自愛荷華州中部的浣熊河和得梅因河流域,用於冷卻一台強大的超級計算機,幫助其人工智能係統學習如何模仿人類寫作。
當微軟、OpenAI 和Google等領先的技術開發商競相利用生成式人工智能的熱潮時,他們也承認,對其人工智能工具日益增長的需求會帶來高昂的成本,從昂貴的半導體到增加的耗水量。
但他們往往對具體細節秘而不宣。在愛荷華州,很少有人知道這裡是OpenAI 最先進的大型語言模型GPT-4 的誕生地,直到微軟的一位高管在一次演講中說,該模型”實際上是在得梅因西部的玉米地旁開發的”。
建立大型語言模型需要分析大量人類撰寫文本的模式。所有這些計算都需要耗費大量的電力並產生大量的熱量。為了在炎熱的天氣保持涼爽,數據中心需要抽水–通常是抽到倉庫大小的建築外的冷卻塔。
微軟在其最新的環境報告中披露,從2021年到2022年,其全球耗水量激增了34%(達到近17億加侖,或超過2500個奧林匹克規格的游泳池),與前幾年相比,耗水量急劇增加,外部研究人員認為這與微軟的人工智能研究有關。
加州大學河濱分校(University of California, Riverside)的研究員任少磊(Shaolei Ren)說:”可以說大部分耗水量增長都是人工智能造成的,包括它在生成式人工智能方面的大量投資以及與OpenAI的合作。”
在即將於今年晚些時候發表的一篇論文中,任少磊的團隊估計,每當你向ChatGPT 提出5 到50 個提示或問題時,ChatGPT 就會喝掉500 毫升的水(接近一個16 盎司水瓶的容量)。這個範圍因服務器的位置和季節而異。這一估算還包括公司沒有測量的間接用水量,例如冷卻為數據中心供電的發電廠。
“大多數人並不了解ChatGPT 的資源使用情況,”任說。”如果你不知道資源的使用情況,那麼我們就沒有辦法幫助你節約資源”。
Google同期的用水量增長了20%,任也將其主要歸因於人工智能工作。Google的用水量增長並不均衡–在俄勒岡州,Google的用水量保持穩定,該州的用水量引起了公眾的關注,而在拉斯維加斯以外的地區,Google的用水量則翻了一番。在愛荷華州,Google的設備對水資源同樣飢渴,其理事會布拉夫斯數據中心的飲用水用量比其他任何地方都要多。
在回答美聯社的提問時,微軟在本週的一份聲明中表示,它正在投資研究,以測量人工智能的能源和碳足跡,”同時研究如何使大型系統在訓練和應用中更加高效” 。
“我們將繼續監控我們的排放量,加快進度,同時增加使用清潔能源為數據中心供電,購買可再生能源,並做出其他努力,以實現我們的可持續發展目標,即到2030 年實現負碳排放、正水排放和零浪費。”該公司的聲明說。
OpenAI 週五在自己的聲明中也表達了同樣的觀點,表示正在”認真思考”如何更好地利用計算能力。它說,”我們認識到大型模型的訓練可能是能源和水資源密集型的”,並努力提高效率。
微軟於2019 年首次向總部位於舊金山的OpenAI 投資10 億美元,這距離這家初創公司推出ChatGPT 並引發全球對人工智能進步的關注已有兩年多時間。作為交易的一部分,這家軟件巨頭將提供訓練人工智能模型所需的計算能力。
為了至少完成其中的一部分工作,兩家公司將目光投向了愛荷華州的西得梅因(West Des Moines),這座擁有6.8 萬人口的城市十多年來一直是微軟雲計算服務的數據中心聚集地。微軟的第四個和第五個數據中心將於今年晚些時候在這裡啟用。
史蒂夫-蓋爾(Steve Gaer)說:”他們正在以最快的速度建造這些數據中心。”吸引該公司的是該市對建設公共基礎設施的承諾,並通過納稅為支持這項投資貢獻了一筆”驚人”的資金。他補充說:”但是,你知道,他們對自己在那裡的所作所為相當保密。”
微軟首次表示,它正在為2020年的OpenAI開發世界上最強大的超級計算機之一,當時公司拒絕透露其位置,但將其描述為一個”單一系統”,擁有超過285,000個傳統半導體內核和10,000個圖形處理器–這種芯片已成為人工智能工作負載的關鍵。
專家們表示,在單一地點”預訓練”人工智能模型是有意義的,因為大量數據需要在計算內核之間傳輸。
直到5 月底,微軟總裁布拉德-史密斯(Brad Smith)才透露,微軟已在愛荷華州建立了”先進的人工智能超級計算數據中心”,專門用於讓OpenAI 訓練其第四代模型GPT -4。該模型現在為高級版本的ChatGPT 和微軟自己的一些產品提供動力,並加速了關於遏制人工智能社會風險的討論。它是由加利福尼亞州的非凡工程師製造的,但實際上是在愛荷華州製造的。
從某種程度上來說,西得梅因是一個相對高效的地方,可以用來訓練強大的人工智能係統,尤其是與微軟位於亞利桑那州的數據中心相比,後者在相同的計算需求下消耗的水資源要多得多。
任少磊說:”因此,如果你要在微軟內部開發人工智能模型,那麼你應該把訓練安排在愛荷華州,而不是亞利桑那州。在培訓方面沒有任何區別。但在耗水量或能耗方面,差別就大了。”
在一年中的大部分時間裡,愛荷華州的天氣都很涼爽,微軟可以利用外部空氣來保持超級計算機的正常運行,並將熱量排出大樓。只有當溫度超過29.3 攝氏度(約85 華氏度)時,微軟才會取水,該公司在一份公開披露的文件中如是說。
這仍然會消耗很大的水量,尤其是在夏天。根據西得梅因水廠(West Des Moines Water Works)的數據,2022 年7 月,也就是OpenAI 稱其完成GPT-4 培訓的前一個月,微軟向其愛荷華州數據中心集群泵入了約1150 萬加侖的水。這約佔該地區用水總量的6%,該地區還為該市居民提供飲用水。
2022 年,西得梅因水廠的一份文件稱,如果微軟的數據中心項目能夠”展示並實施在當前水平上大幅降低高峰用水量的技術”,以保護住宅和其他商業用水的供應,那麼西得梅因水廠和市政府”會考慮這些項目”。
微軟週四表示,它正在直接與水務局合作,以解決其反饋的問題。水廠在一份書面聲明中表示,微軟一直是一個很好的合作夥伴,並一直在與當地官員合作,在滿足用水需求的同時減少水足跡。