據The Verge報導，開發藥物的人工智能只用了不到六個小時就提出了4萬個潛在的致命分子。研究人員將通常用於搜索有用藥物的人工智能放入一種“bad actor” 模式，以顯示它在一次生物武器控制會議上是多麼容易被濫用。

研究人員所要做的就是調整他們的方法，以尋找而不是剔除毒性。人工智能想出了數以萬計的新物質，其中一些與VX相似，是有史以來開發的最強的神經毒劑。震驚之餘，研究人員於本月在《自然-機器智能》雜誌上發表了他們的發現。

The Verge記者Justine Calma採訪了該論文的主要作者Fabio Urbina。他也是Collaborations Pharmaceuticals, Inc.的一名高級科學家，該公司專注於為罕見疾病尋找藥物治療。

本採訪因篇幅和清晰度而進行了編輯。

The Verge：這篇論文似乎顛覆了你的正常工作。請告訴我你在日常工作中的工作內容。

Urbina：我的工作主要是是在藥物發現領域實施新的機器學習模型。我們使用的這些機器學習模型中，有很大一部分是為了預測毒性。無論你試圖開發什麼樣的藥物，你都需要確保它們不會有毒性。如果事實證明，你有這種奇妙的藥物，可以很好地降低血壓，但它擊中了其中一個非常重要的，比如說，心臟通道–那麼基本上，它是不可能的，因為這實在是太危險。

The Verge：那麼，你為什麼要做這項關於生化武器的研究？觸發點是什麼？

Urbina：我們收到了瑞士聯邦核、生物和化學保護研究所斯皮埃茲實驗室的Convergence 會議邀請。該會議的想法是向整個社會通報可能對《化學/生物武器公約》有影響的工具的新發展。

我們接到這個邀請，是為了談論機器學習以及它如何在我們的領域被濫用。這是我們以前從未真正想過的事情。但是，我們很容易意識到，當我們建立這些機器學習模型，以獲得越來越好的預測毒性，從而避免毒性時，我們所要做的就是“翻轉開關”，說：“你知道，與其說我們要遠離毒性，不如說我們要走向毒性呢？”

The Verge：你能向我介紹一下你是如何做到的嗎–將模型轉向毒性？

Urbina：我會對一些細節說得比較模糊，因為我們被告知基本上要隱瞞一些具體細節。大體上，這個實驗的工作方式是，我們在歷史上有很多分子的數據集，這些分子已經被測試過，看看它們是否有毒。

特別是，我們在這里關注的一個是VX。它是一種被稱為乙酰膽鹼酯酶的抑製劑。每當你做任何與肌肉有關的事情時，你的神經元使用乙酰膽鹼酯酶作為信號，基本上說“去移動你的肌肉”。VX的致命方式是它實際上阻止了你的橫膈膜、你的肺部肌肉能夠移動，因此你的肺部變得麻痺。

很明顯，這是你想避免的事情。因此，從歷史上看，已經用不同類型的分子做了實驗，看它們是否抑制乙酰膽鹼酯酶。於是，我們建立了這些分子結構的大型數據集，以及它們的毒性如何。

我們可以使用這些數據集來創建一個機器學習模型，該模型基本上可以學習分子結構的哪些部分對毒性很重要，哪些不重要。然後我們可以給這個機器學習模型提供新的分子，可能是以前從未測試過的新藥物。它將告訴我們這被預測為有毒，或這被預測為無毒。這是一種方法，使我們能夠非常、非常快速地篩選出大量的分子，並找出那些被預測為有毒的分子。在我們的研究中，我們所做的是將其倒置，顯然，我們使用這個模型來嘗試預測毒性。

我們在這裡所做的另一個關鍵部分是這些新的生成模型。我們可以給生成模型一大堆不同的結構，它可以學習如何將分子組合在一起。然後我們可以在某種意義上，要求它生成新的分子。現在它可以在整個化學空間中生成新的分子，而且它們只是一些隨機的分子。但我們可以做的一件事是，我們實際上可以告訴生成模型我們想去哪個方向。我們通過給它一個小的評分函數來做到這一點，如果它生成的分子是我們想要的東西，就給它一個高分。我們不是給有毒分子打低分，而是給有毒分子打高分。

現在我們看到該模型開始產生所有這些分子，其中很多看起來像VX，也像其他化學戰劑。

The Verge：告訴我更多關於你的發現。有什麼讓你吃驚的嗎？

Urbina：我們並不真正確定我們會得到什麼。我們的生成模型是相當新的技術。所以我們還沒有廣泛使用它們。

一開始最大的事情是，很多生成的化合物被預測為實際上比VX的毒性更大。而這令人驚訝的原因是，VX基本上是已知的最有效的化合物之一。意味著你需要非常、非常、非常少的量才能致死。

現在，這些是我們還沒有驗證的預測，我們當然也不想自己去驗證。但預測模型一般來說是相當好的。因此，即使有很多假陽性反應，我們也擔心其中有一些更有力的分子。

其次，我們實際上看了這些新生成分子的很多結構。他們中的很多人看起來確實像VX和其他戰劑，我們甚至發現一些從模型中生成的是真正的化學戰劑。這些是在從未見過這些化學戰劑的情況下從模型中生成的。因此，我們知道我們在這裡算是進入了正確的空間，而且它產生的分子是有意義的，因為其中一些分子以前已經被製造出來。

對我來說，關注的是它有多容易做。我們使用的很多東西都是免費的。你可以從任何地方下載一個毒性數據集。如果你有一個人知道如何用Python編程，並且有一些機器學習的能力，那麼可能在一個很好的周末的工作中，他們可以建立類似於這種由有毒數據集驅動的生成模型。因此，這就是讓我們真正考慮把這篇論文發表出來的原因；對於這種類型的濫用來說，它的門檻是如此之低。

The Verge：你的論文說，通過做這項工作，你和你的同事們“仍然跨越了一個灰色的道德界限，證明有可能在沒有太多的努力、時間或計算資源的情況下設計虛擬的潛在有毒分子。我們可以輕易地刪除我們創造的成千上萬的分子，但我們不能刪除如何重新創造它們的知識”。在你做這項工作的時候，你腦子裡在想什麼？

Urbina：這是一個相當不尋常的出版物。我們在是否應該發表它的問題上來回折騰了一番。這是一個潛在的誤用，沒有花費那麼多時間來執行。我們想把這個信息公佈出來，因為我們真的沒有在文獻中看到它。我們環顧四周，沒有人真正在談論這個問題。但與此同時，我們也不想把這個想法透露給不良分子。

在一天結束的時候，我們決定，我們有點想在這個問題上取得進展。因為如果我們有可能做到這一點，那麼很可能某個地方的某個對抗性代理可能已經在考慮這個問題，或者在未來會考慮這個問題。到那時，我們的技術可能已經取得了進展，甚至超過了我們現在所能做到的。它的很多東西將是開放的–我完全支持：科學的共享，數據的共享，模型的共享。但是，作為科學家，我們應該注意我們所發布的東西是負責任的，這是其中之一。

The Verge：對別人來說，複製你的工作有多容易？他們需要什麼？

Urbina：我不想听起來很聳人聽聞，但有人要復制我們所做的事情是相當容易的。

如果你在Google上搜索生成模型，你可以找到一些人們免費發布的拼湊的單行生成模型。然後，如果你要搜索毒性數據集，有大量的開源毒性數據集。因此，如果你把這兩件事結合起來，然後你知道如何編碼和建立機器學習模型–這只需要一個互聯網連接和一台電腦–那麼，你可以很容易地複制我們所做的。不僅僅是VX，還有幾乎所有其他的開源毒性數據集。

當然，這確實需要一些專業知識。如果有人在不了解化學的情況下把這個東西放在一起，他們最終可能會產生一些不是很有用的東西。而且還有下一步，必須把這些分子合成出來。找到一個潛在的藥物或潛在的新的有毒分子是一回事；下一步的合成–在現實世界中實際創造一個新分子–將是另一個障礙。

The Verge：是的，在人工智能想出的東西和將其變成現實世界的威脅之間仍有一些大的飛躍。那裡的差距是什麼？

Urbina：首先，最大的差距是，你真的不知道這些分子是否真的有毒。將會有一定數量的假陽性反應。如果我們讓自己了解不良分子的想法或行為，他們將不得不作出決定，他們最終想合成這些新分子中的哪個。

就合成路線而言，這可能是一個成功或失敗。如果你發現一些看起來像化學戰劑的東西，並試圖將其合成，有可能不會發生。這些化學戰劑的許多化學成分都是眾所周知的，並受到關注。它們受到監管。但有這麼多的合成公司。只要它看起來不像化學戰劑，他們最有可能只是合成它，然後馬上送回來，因為誰知道這個分子是用來做什麼的，對嗎？

The Verge：你在論文的後面提到了這一點，但是可以做些什麼來防止這種濫用人工智能的行為？你希望看到建立什麼樣的保障措施？

Urbina：現在有越來越多的關於數據共享的政策。而且我完全同意，因為它為研究開闢了更多的途徑。它允許其他研究人員看到你的數據，並將其用於他們自己的研究。但與此同時，這也包括像毒性數據集和毒性模型這樣的東西。所以要想為這個問題找出一個好的解決方案有點難。

我們向矽谷看去：有一個叫OpenAI的組織；他們發布了一個頂級的語言模型，叫GPT-3。它幾乎就像一個聊天機器人；它基本上可以生成與人類幾乎沒有區別的句子和文本。他們實際上讓你隨時免費使用它，但你必須從他們那裡獲得一個特殊的訪問令牌才能這樣做。在任何時候，他們都可以切斷你對這些模型的訪問。我們在想，對於潛在的敏感模型，如毒性模型，類似的東西可能是一個有用的起點。

科學是關於開放交流、開放訪問、開放數據共享的。限制是與這個概念背道而馳的。但向前邁進的一步可能是至少要負責任地說明誰在使用你的資源。

The Verge：你的論文還說，”在不過分危言聳聽的情況下，這應該成為對我們同事的警醒”–你希望你的同事能醒悟到什麼？你認為過分危言聳聽會是什麼樣子的？

Urbina：我們只是希望更多的研究人員承認並意識到潛在的誤用。當你開始在化學領域工作時，你會被告知化學的誤用，你有責任確保你盡可能地避免這種情況。在機器學習領域，沒有這樣的規定。沒有關於濫用技術的指導。

因此，把這種意識放在那裡可以幫助人們真正注意到這個問題。然後，它至少在更廣泛的圈子裡被談論，並且至少可以成為我們在建立毒性模型方面越來越好的時候注意的東西。

我不想提議，機器學習的人工智能將開始創造有毒分子，而且會有一連串新的生化戰劑就在附近。有人點擊一個按鈕，然後，你知道，化學戰劑就可能會出現在他們手中。

我不想危言聳聽，說會有人工智能驅動的化學戰。我不認為現在是這種情況。我不認為它很快就會成為事實。但它開始成為一種可能性。