科學論文通常是事無鉅細的典範。作者團隊往往有責任披露一切方便他人復現他們的發現所需要的信息。但這項研究是個例外。最近一篇發表在Nature 子刊Nature Machine Intelligence 上的論文《人工智能驅動的藥物發現的雙重用途》（Dual – use of artificial Intelligence -powered drug discovery）顯然把它的作者嚇壞了。這體現在文本的基調和沒有透露關鍵信息上。

一次可能性驗證

2021 年，總部位於美國北卡羅來納州羅利的Collaborations Pharmaceuticals 公司受邀發表了一篇關於“藥物發現技術可能被濫用“的論文。該公司利用計算機幫助客戶識別看似潛在藥物的分子。地點是瑞士斯皮茲實驗室組織的一次會議。

這是一個由瑞士政府設立的“融合”系列會議，以確定可能對《禁止化學武器公約》和《禁止生物武器公約》產生影響的技術發展。會議每兩年舉行一次，匯集了一批國際科學和裁軍專家小組，探討化學和生物領域的最新技術現狀及其發展軌跡，思考潛在的安全影響，並考慮如何最有效地在國際上處理這些影響。

為了準備這次演講，collaboration 公司的一些研究人員進行了一項他們稱之為“思考實驗”的活動，通過計算證明了製造生化武器的概念。

在這個瑞士會議上，Collaborations Pharmaceuticals 公司決定探索如何使用AI 來設計有毒分子。該公司之前設計了一種名為MegaSyn 的藥物分子生成模型，借助機器學習模型預測生物活性，尋找人類疾病靶點的新治療抑製劑。這種生成模型通常會懲罰預測的毒性並獎勵預測的目標活動。

在新的實驗中，他們進行了調整，讓模型同時獎勵毒性和生物活性，並使用來自公共數據庫的分子對模型進行訓練。

他們的方法和結果簡單得令人不安：通過對從公開數據庫中提取的一組類藥分子（定義為易於合成並容易被身體吸收的物質）的化學結構以及這些分子的已知毒性進行訓練，修改後的軟件不到六個小時就能發現四萬個潛在的致命分子。這些分子符合研究人員預定義的參數，可能用作化學武器。

The Verge 採訪了該論文的第一作者Fabio Urbina，Urbina 是Collaborations Pharmaceuticals 藥物發現公司的高級科學家，就藥物研發中的AI技術可能被濫用的問題展開了演講。

研究團隊以前從未有過這種想法，他們也模糊地意識到與病原體或有毒化學品工作的安全問題。Urbina 的工作植根於為治療和毒性靶點建立ML 模型，並非是製造病毒，而是以更好地協助藥物發現新分子的設計，利用ML 模型對新生產藥物的毒性進行預測。

這就像是，有一種奇妙的藥物可以神奇的降低血壓，但它的副作用卻是擊穿心臟通道，那麼，這種藥觸碰了禁區，是不可能上市的，因為這太危險了。

幾十年來，團隊一直在藉助計算機和AI 來改善人類健康。換句話說，無論試圖開發哪種藥物，首先得需要確保它們不會有毒。

最近，該公司發布了很多用於不同領域毒性預測的計算ML 模型，並且Urbina 在會議演講時，選擇翻轉開關，真正的走向毒性，探索如何使用AI 來設計有毒分子。

這是團隊前所未有的一次思想練習，最終演變成了製造生化武器的計算概念證明。

Urbina 在對一些細節的描述上有點模糊不清，刻意的隱瞞了某些細節，以防止被加以利用。

簡單來說，整個實驗的大體工作流程就是，借助研發歷史中已有的分子數據集作為預測標籤，因為這些分子已經經過測試是否含有毒性了。

需要注意的是，團隊重點關注的是VX。

那VX 究竟是什麼呢？

嚴格意義上說，它是一種被歸類為神經毒劑的人造化學戰劑。而神經毒劑是已知化學戰劑中毒性最強、作用最迅速的。具體而言，VX 就是所謂的乙酰膽鹼酯酶的抑製劑。每當你做任何與肌肉有關的事情時，神經元都會使用乙酰膽鹼酯酶作為信號，鼓勵你“去活動你的肌肉”。這正是VX 的致命之處，它實際上阻止了你的橫隔膜，也就是影響你肺肌肉的運動，從而導致你的肺部變得麻痺，無法呼吸，甚至癱瘓。

顯然，這是人們想要避免的。因此，從歷史上看，已經對不同類型的分子進行了實驗，以查看它們是否抑制乙酰膽鹼酯酶。於是，Urbina 建立了這些分子結構及其毒性的大型數據集。

然後，團隊便可以利用這些數據集來創建一個ML 模型，該模型基本上可以分辨分子結構的哪些部分對毒性很重要，哪些部分對其不重要。然後，便可以給該ML 模型提供新的分子，可能是先前從未測試過的新藥物。隨後，它的判斷結果會告訴我們哪些藥物被預測為有毒，或者預測為無毒。

正是上述方法，有效地提高了研究人員對藥物的篩選速度，即他們可以非常迅速的篩選出大量的分子，並剔除那些被預測有毒的分子。

然而，在團隊的這項研究中，正好顛倒了這一點。顯然，團隊試圖採用該模型達到的目的是預測毒性。

此外，另一個關鍵的部分是這些新的生成模型。團隊可以通過給生成模型輸入一些完全不同的結構，它可以學習如何將分子放在一起。然後，從某種意義上說，便可以要求它產生新的分子。此時，生成模型可以在整個化學空間中產生新的分子，但也只是一些隨機分子，沒有實質性的意義。但是研究人員可以做的一件事是，告訴生成模型所期望的走向。

當然，通過設計一個評分函數就可以實現這點，如果它生成的分子是研究人員所期望的，就給它打一個高分。以生成毒劑為例，就是要給有毒分子打高分。

實驗結果可以看到模型開始生成的這些分子，其中許多看起來像VX，也像其他的一些化學劑。

Urbina 表示，其實整個團隊真的不確定會得到什麼。因為生成模型相對來說還是比較新的技術，目前也沒有對生成模型進行廣泛使用。

但一個尤其註意的問題是，很多生成化合物的毒性預測結果比VX 的毒性更大。更加令人震驚的是，VX 基本上是已知的最有效的化合物之一，也就意味著只需要非常、非常、非常少的量就能致死。

雖然這些預測結果在現實生活中尚未驗證，研究人員也表示他們也不想自己去驗證，但預測模型通常性能相當不錯。因此，即使存在很多假陽性反應，其中應該也會有毒性更強的分子。

其次，研究團隊其實觀察了這些新生成分子的許多結構。不難發現，其中很多看起來確實像VX 和其他戰劑，甚至在一些模型中生成的是真正的化學毒劑。並且，這些是在模型從未見過這些化學毒劑的情況下而生成的。毋庸置疑，模型肯定能夠生成一些有毒的分子，因為其中一些分子以前就已經被製造出來了。

那麼，令人擔心的是，它到底有多容易實現呢？

研究人員表示，在開發過程中所使用的很多東西都是免費的。你可以從任何地方下載毒性數據集。如果有一個人知道如何用Python 編程，並且具備一些ML 能力，那麼可能利用一個短暫的周末，就可以構建出類似於這種由有毒數據集驅動的生成模型。

因此，這就是研究人員真正考慮將這篇論文發表出來的原因：對於這種類型的濫用來說，它的門檻實在是太低了。

Urbina 在論文中表示：“我們仍然跨越了一個灰色的道德界限，證明有可能設計出虛擬的潛在有毒分子，而不需要太多的努力、時間或計算資源。雖然我們可以輕易地刪除我們創造的成千上萬的分子，但我們不能刪除如何重新創造它們的知識。”

Urbina 表示，這是一個非常不尋常的話題，他們想把這些真正的信息拿出來，去真正的談論它。與此同時，不希望將其落入非法者之手。

但他明確表示，作為科學家，應該注意發布的內容必須是負責任地完成的。

除此之外，Urbina 表示，目前所做的確實很容易被複製。因為其中很多東西都是開源的——科學的共享，數據的共享，模型的共享。

Urbina 殷切希望更多的研究人員承認並意識到潛在的濫用。

當你開始在化學領域工作時，你確實會被告知化學濫用的危害，你有責任確保你盡可能地避免這種情況。而在ML 中，與之相反，沒有任何關於濫用該技術的指導。

“我們只是希望更多的研究人員承認並意識到潛在的濫用” ，Urbina 說道。

考慮到模型的性能越來越好，所以將這種意識公開是非常有必要的，可以真正地幫助人們去注意這個問題：至少在更廣泛的圈子裡被討論過，至少可以成為研究人員所關注的點。