備受矚目的人工智慧新創公司Anthropic的執行長 Dario Amodei）去年告訴美國國會，新的人工智慧技術很快就能幫助不熟練但心懷惡意的人製造大規模的生物攻擊，如釋放病毒或有毒物質，造成大範圍的疾病和死亡。

兩黨參議員都感到震驚，而工業界和學術界的人工智慧研究人員則在爭論這種威脅有多嚴重。

現在，90 多名生物學家和其他科學家簽署了一份協議，他們專門研究用於設計新蛋白質的人工智慧技術–這種微觀機制驅動著生物學中的所有創造–該協議旨在確保他們在人工智慧輔助下進行的研究不會對世界造成嚴重危害。

包括諾貝爾獎得主弗朗西斯-阿諾德在內的生物學家代表了美國和其他國家的實驗室，他們也認為，最新技術的好處遠遠多於壞處，包括新疫苗和新藥。

協議寫道：”作為從事這項工作的科學家，我們相信目前的人工智慧技術對蛋白質設計的益處遠遠大於潛在的危害，我們希望確保我們的研究在未來對所有人都有益。”

該協議並不尋求壓制人工智慧技術的開發或傳播。相反，生物學家的目標是規範製造新遺傳物質所需設備的使用。

華盛頓大學蛋白質設計研究所所長戴維貝克（David Baker）說，這種DNA 製造設備最終導致了生物武器的開發，而他正是該協議的促成者。

“蛋白質設計只是製造合成蛋白質的第一步，”他在接受採訪時說。”然後，你必須實際合成DNA，並將設計從電腦轉移到現實世界中–而這正是進行調節的適當場所”。

該協議是權衡人工智慧的風險和可能帶來的好處的眾多努力之一。一些專家警告說，人工智慧技術可能有助於傳播虛假訊息，以非同尋常的速度取代工作崗位，甚至可能毀滅人類，因此科技公司、學術實驗室、監管機構和立法者都在努力了解這些風險，並找到應對方法。

阿莫迪博士的公司Anthropic建立了大型語言模型，即LLMs，這是一種驅動線上聊天機器人的新型技術。他在國會作證時指出，這種技術很快就能幫助攻擊者製造新的生物武器。

但他承認，這在今天是不可能的。人類學家最近進行了一項詳細研究，結果表明，如果有人試圖獲取或設計生物武器，LLMs 比普通的網路搜尋引擎要有用得多。

阿莫代博士和其他人擔心，隨著公司改進LLM，並將其與其他技術結合，將會出現嚴重的威脅。他告訴國會，這種情況只會在兩到三年後才出現。

ChatGPT線上聊天機器人的製造商OpenAI後來也進行了類似的研究，結果顯示LLMs並不比搜尋引擎危險得多。美國麻省理工學院電腦科學教授、OpenAI準備工作負責人亞歷山大-蒙德里（Aleksander Mądry）說，他預計研究人員會繼續改進這些系統，但他還沒有看到任何證據表明這些系統能夠製造新的生物武器。

如今，LLMs 是透過分析從互聯網上獲取的大量數位文字而創建的。這意味著，它們會重複或重組網路上已有的訊息，包括現有的生物攻擊資訊。

但是，為了加速新藥、疫苗和其他有用生物材料的開發，研究人員開始建立類似的人工智慧系統，以產生新的蛋白質設計。生物學家說，這種技術也可以幫助攻擊者設計生物武器，但他們指出，真正製造這種武器需要一個價值數百萬美元的實驗室，包括DNA 製造設備。

非營利組織”未來之家”（Future House）的聯合創始人、簽署協議的生物學家之一安德魯-懷特（Andrew White）說：”有些風險並不需要數百萬美元的基礎設施建設，但這些風險已經存在了一段時間，與人工智慧無關。

生物學家們呼籲制定安全措施，防止DNA 製造設備與有害物質一起使用–儘管目前還不清楚這些措施將如何發揮作用。他們還呼籲在發布新的人工智慧模型之前對其進行安全和安保審查。

他們並不主張將這些技術封存起來。芝加哥大學生物化學和分子生物學教授拉瑪-蘭加納坦（Rama Ranganathan）說：「這些技術不應該只由少數人或組織掌握，科學家群體應該能夠自由地探索這些技術，並為之做出貢獻”。