科學家發出警告：AI可在6小時内提出40000種潛在新化學武器
撰文：青蘋果
科學論文通常是事無巨細的典範。作者團隊往往有責任披露一切方便他人複現他們的發現所需要的信息。
但這項研究是個例外。
最近一篇發表在 Nature 子刊 Nature Machine Intelligence 上的論文《人工智能驅動的藥物發現的雙重用途》（Dual - use of artificial Intelligence -powered drug discovery）顯然把它的作者吓壞了。這體現在文本的基調和沒有透露關鍵信息上。
一次可能性驗證
2021 年，總部位于美國北卡羅來納州羅利的 Collaborations Pharmaceuticals 公司受邀發表了一篇關于“藥物發現技術可能被濫用“的論文。該公司利用計算機幫助客戶識别看似潛在藥物的分子。地點是瑞士斯皮茲實驗室組織的一次會議。
這是一個由瑞士政府設立的“融合”系列會議，以确定可能對《禁止化學武器公約》和《禁止生物武器公約》産生影響的技術發展。會議每兩年舉行一次，彙集了一批國際科學和裁軍專家小組，探讨化學和生物領域的最新技術現狀及其發展軌迹，思考潛在的安全影響，并考慮如何最有效地在國際上處理這些影響。
為了準備這次演講，collaboration 公司的一些研究人員進行了一項他們稱之為“思考實驗”的活動，通過計算證明了制造生化武器的概念。
在這個瑞士會議上，Collaborations Pharmaceuticals 公司決定探索如何使用 AI 來設計有毒分子。該公司之前設計了一種名為 MegaSyn 的藥物分子生成模型，借助機器學習模型預測生物活性，尋找人類疾病靶點的新治療抑制劑。這種生成模型通常會懲罰預測的毒性并獎勵預測的目标活動。
在新的實驗中，他們進行了調整，讓模型同時獎勵毒性和生物活性，并使用來自公共數據庫的分子對模型進行訓練。
他們的方法和結果簡單得令人不安：通過對從公開數據庫中提取的一組類藥分子（定義為易于合成并容易被身體吸收的物質）的化學結構以及這些分子的已知毒性進行訓練，修改後的軟件不到六個小時就能發現四萬個潛在的緻命分子。這些分子符合研究人員預定義的參數，可能用作化學武器。
The Verge 采訪了該論文的第一作者 Fabio Urbina，Urbina 是 Collaborations Pharmaceuticals 藥物發現公司的高級科學家，就藥物研發中的AI技術可能被濫用的問題展開了演講。
研究團隊以前從未有過這種想法，他們也模糊地意識到與病原體或有毒化學品工作的安全問題。Urbina 的工作植根于為治療和毒性靶點建立 ML 模型，并非是制造病毒，而是以更好地協助藥物發現新分子的設計，利用 ML 模型對新生産藥物的毒性進行預測。
這就像是，有一種奇妙的藥物可以神奇的降低血壓，但它的副作用卻是擊穿心髒通道，那麼，這種藥觸碰了禁區，是不可能上市的，因為這太危險了。
幾十年來，團隊一直在借助計算機和 AI 來改善人類健康。換句話說，無論試圖開發哪種藥物，首先得需要确保它們不會有毒。
最近，該公司發布了很多用于不同領域毒性預測的計算 ML 模型，并且 Urbina 在會議演講時，選擇翻轉開關，真正的走向毒性，探索如何使用 AI 來設計有毒分子。
這是團隊前所未有的一次思想練習，最終演變成了制造生化武器的計算概念證明。
Urbina 在對一些細節的描述上有點模糊不清，刻意的隐瞞了某些細節，以防止被加以利用。
簡單來說，整個實驗的大體工作流程就是，借助研發曆史中已有的分子數據集作為預測标簽，因為這些分子已經經過測試是否含有毒性了。
需要注意的是，團隊重點關注的是 VX。
那 VX 究竟是什麼呢？
嚴格意義上說，它是一種被歸類為神經毒劑的人造化學戰劑。而神經毒劑是已知化學戰劑中毒性最強、作用最迅速的。具體而言，VX 就是所謂的乙酰膽堿酯酶的抑制劑。每當你做任何與肌肉有關的事情時，神經元都會使用乙酰膽堿酯酶作為信号，鼓勵你“去活動你的肌肉”。這正是 VX 的緻命之處，它實際上阻止了你的橫隔膜，也就是影響你肺肌肉的運動，從而導緻你的肺部變得麻痹，無法呼吸，甚至癱瘓。
顯然，這是人們想要避免的。因此，從曆史上看，已經對不同類型的分子進行了實驗，以查看它們是否抑制乙酰膽堿酯酶。于是，Urbina 建立了這些分子結構及其毒性的大型數據集。
然後，團隊便可以利用這些數據集來創建一個 ML 模型，該模型基本上可以分辨分子結構的哪些部分對毒性很重要，哪些部分對其不重要。然後，便可以給該 ML 模型提供新的分子，可能是先前從未測試過的新藥物。随後，它的判斷結果會告訴我們哪些藥物被預測為有毒，或者預測為無毒。
正是上述方法，有效地提高了研究人員對藥物的篩選速度，即他們可以非常迅速的篩選出大量的分子，并剔除那些被預測有毒的分子。
然而，在團隊的這項研究中，正好颠倒了這一點。顯然，團隊試圖采用該模型達到的目的是預測毒性。
此外，另一個關鍵的部分是這些新的生成模型。團隊可以通過給生成模型輸入一些完全不同的結構，它可以學習如何将分子放在一起。然後，從某種意義上說，便可以要求它産生新的分子。此時，生成模型可以在整個化學空間中産生新的分子，但也隻是一些随機分子，沒有實質性的意義。但是研究人員可以做的一件事是，告訴生成模型所期望的走向。
當然，通過設計一個評分函數就可以實現這點，如果它生成的分子是研究人員所期望的，就給它打一個高分。以生成毒劑為例，就是要給有毒分子打高分。
實驗結果可以看到模型開始生成的這些分子，其中許多看起來像 VX，也像其他的一些化學劑。
Urbina 表示，其實整個團隊真的不确定會得到什麼。因為生成模型相對來說還是比較新的技術，目前也沒有對生成模型進行廣泛使用。
但一個尤其注意的問題是，很多生成化合物的毒性預測結果比 VX 的毒性更大。更加令人震驚的是，VX 基本上是已知的最有效的化合物之一，也就意味着隻需要非常、非常、非常少的量就能緻死。
雖然這些預測結果在現實生活中尚未驗證，研究人員也表示他們也不想自己去驗證，但預測模型通常性能相當不錯。因此，即使存在很多假陽性反應，其中應該也會有毒性更強的分子。
其次，研究團隊其實觀察了這些新生成分子的許多結構。不難發現，其中很多看起來确實像 VX 和其他戰劑，甚至在一些模型中生成的是真正的化學毒劑。并且，這些是在模型從未見過這些化學毒劑的情況下而生成的。毋庸置疑，模型肯定能夠生成一些有毒的分子，因為其中一些分子以前就已經被制造出來了。
那麼，令人擔心的是，它到底有多容易實現呢？
研究人員表示，在開發過程中所使用的很多東西都是免費的。你可以從任何地方下載毒性數據集。如果有一個人知道如何用 Python 編程，并且具備一些 ML 能力，那麼可能利用一個短暫的周末，就可以構建出類似于這種由有毒數據集驅動的生成模型。
因此，這就是研究人員真正考慮将這篇論文發表出來的原因：對于這種類型的濫用來說，它的門檻實在是太低了。
Urbina 在論文中表示：“我們仍然跨越了一個灰色的道德界限，證明有可能設計出虛拟的潛在有毒分子，而不需要太多的努力、時間或計算資源。雖然我們可以輕易地删除我們創造的成千上萬的分子，但我們不能删除如何重新創造它們的知識。”
Urbina 表示，這是一個非常不尋常的話題，他們想把這些真正的信息拿出來，去真正的談論它。與此同時，不希望将其落入非法者之手。
但他明确表示，作為科學家，應該注意發布的内容必須是負責任地完成的。
除此之外，Urbina 表示，目前所做的确實很容易被複制。因為其中很多東西都是開源的——科學的共享，數據的共享，模型的共享。
Urbina 殷切希望更多的研究人員承認并意識到潛在的濫用。
當你開始在化學領域工作時，你确實會被告知化學濫用的危害，你有責任确保你盡可能地避免這種情況。而在 ML 中，與之相反，沒有任何關于濫用該技術的指導。
“我們隻是希望更多的研究人員承認并意識到潛在的濫用” ，Urbina 說道。
考慮到模型的性能越來越好，所以将這種意識公開是非常有必要的，可以真正地幫助人們去注意這個問題：至少在更廣泛的圈子裡被讨論過，至少可以成為研究人員所關注的點。
點這裡關注我記得标星~
科學論文通常是事無巨細的典範。作者團隊往往有責任披露一切方便他人複現他們的發現所需要的信息。
但這項研究是個例外。
最近一篇發表在 Nature 子刊 Nature Machine Intelligence 上的論文《人工智能驅動的藥物發現的雙重用途》（Dual - use of artificial Intelligence -powered drug discovery）顯然把它的作者吓壞了。這體現在文本的基調和沒有透露關鍵信息上。
一次可能性驗證
2021 年，總部位于美國北卡羅來納州羅利的 Collaborations Pharmaceuticals 公司受邀發表了一篇關于“藥物發現技術可能被濫用“的論文。該公司利用計算機幫助客戶識别看似潛在藥物的分子。地點是瑞士斯皮茲實驗室組織的一次會議。
這是一個由瑞士政府設立的“融合”系列會議，以确定可能對《禁止化學武器公約》和《禁止生物武器公約》産生影響的技術發展。會議每兩年舉行一次，彙集了一批國際科學和裁軍專家小組，探讨化學和生物領域的最新技術現狀及其發展軌迹，思考潛在的安全影響，并考慮如何最有效地在國際上處理這些影響。
為了準備這次演講，collaboration 公司的一些研究人員進行了一項他們稱之為“思考實驗”的活動，通過計算證明了制造生化武器的概念。
在這個瑞士會議上，Collaborations Pharmaceuticals 公司決定探索如何使用 AI 來設計有毒分子。該公司之前設計了一種名為 MegaSyn 的藥物分子生成模型，借助機器學習模型預測生物活性，尋找人類疾病靶點的新治療抑制劑。這種生成模型通常會懲罰預測的毒性并獎勵預測的目标活動。
在新的實驗中，他們進行了調整，讓模型同時獎勵毒性和生物活性，并使用來自公共數據庫的分子對模型進行訓練。
他們的方法和結果簡單得令人不安：通過對從公開數據庫中提取的一組類藥分子（定義為易于合成并容易被身體吸收的物質）的化學結構以及這些分子的已知毒性進行訓練，修改後的軟件不到六個小時就能發現四萬個潛在的緻命分子。這些分子符合研究人員預定義的參數，可能用作化學武器。
The Verge 采訪了該論文的第一作者 Fabio Urbina，Urbina 是 Collaborations Pharmaceuticals 藥物發現公司的高級科學家，就藥物研發中的AI技術可能被濫用的問題展開了演講。
研究團隊以前從未有過這種想法，他們也模糊地意識到與病原體或有毒化學品工作的安全問題。Urbina 的工作植根于為治療和毒性靶點建立 ML 模型，并非是制造病毒，而是以更好地協助藥物發現新分子的設計，利用 ML 模型對新生産藥物的毒性進行預測。
這就像是，有一種奇妙的藥物可以神奇的降低血壓，但它的副作用卻是擊穿心髒通道，那麼，這種藥觸碰了禁區，是不可能上市的，因為這太危險了。
幾十年來，團隊一直在借助計算機和 AI 來改善人類健康。換句話說，無論試圖開發哪種藥物，首先得需要确保它們不會有毒。
最近，該公司發布了很多用于不同領域毒性預測的計算 ML 模型，并且 Urbina 在會議演講時，選擇翻轉開關，真正的走向毒性，探索如何使用 AI 來設計有毒分子。
這是團隊前所未有的一次思想練習，最終演變成了制造生化武器的計算概念證明。
Urbina 在對一些細節的描述上有點模糊不清，刻意的隐瞞了某些細節，以防止被加以利用。
簡單來說，整個實驗的大體工作流程就是，借助研發曆史中已有的分子數據集作為預測标簽，因為這些分子已經經過測試是否含有毒性了。
需要注意的是，團隊重點關注的是 VX。
那 VX 究竟是什麼呢？
嚴格意義上說，它是一種被歸類為神經毒劑的人造化學戰劑。而神經毒劑是已知化學戰劑中毒性最強、作用最迅速的。具體而言，VX 就是所謂的乙酰膽堿酯酶的抑制劑。每當你做任何與肌肉有關的事情時，神經元都會使用乙酰膽堿酯酶作為信号，鼓勵你“去活動你的肌肉”。這正是 VX 的緻命之處，它實際上阻止了你的橫隔膜，也就是影響你肺肌肉的運動，從而導緻你的肺部變得麻痹，無法呼吸，甚至癱瘓。
顯然，這是人們想要避免的。因此，從曆史上看，已經對不同類型的分子進行了實驗，以查看它們是否抑制乙酰膽堿酯酶。于是，Urbina 建立了這些分子結構及其毒性的大型數據集。
然後，團隊便可以利用這些數據集來創建一個 ML 模型，該模型基本上可以分辨分子結構的哪些部分對毒性很重要，哪些部分對其不重要。然後，便可以給該 ML 模型提供新的分子，可能是先前從未測試過的新藥物。随後，它的判斷結果會告訴我們哪些藥物被預測為有毒，或者預測為無毒。
正是上述方法，有效地提高了研究人員對藥物的篩選速度，即他們可以非常迅速的篩選出大量的分子，并剔除那些被預測有毒的分子。
然而，在團隊的這項研究中，正好颠倒了這一點。顯然，團隊試圖采用該模型達到的目的是預測毒性。
此外，另一個關鍵的部分是這些新的生成模型。團隊可以通過給生成模型輸入一些完全不同的結構，它可以學習如何将分子放在一起。然後，從某種意義上說，便可以要求它産生新的分子。此時，生成模型可以在整個化學空間中産生新的分子，但也隻是一些随機分子，沒有實質性的意義。但是研究人員可以做的一件事是，告訴生成模型所期望的走向。
當然，通過設計一個評分函數就可以實現這點，如果它生成的分子是研究人員所期望的，就給它打一個高分。以生成毒劑為例，就是要給有毒分子打高分。
實驗結果可以看到模型開始生成的這些分子，其中許多看起來像 VX，也像其他的一些化學劑。
Urbina 表示，其實整個團隊真的不确定會得到什麼。因為生成模型相對來說還是比較新的技術，目前也沒有對生成模型進行廣泛使用。
但一個尤其注意的問題是，很多生成化合物的毒性預測結果比 VX 的毒性更大。更加令人震驚的是，VX 基本上是已知的最有效的化合物之一，也就意味着隻需要非常、非常、非常少的量就能緻死。
雖然這些預測結果在現實生活中尚未驗證，研究人員也表示他們也不想自己去驗證，但預測模型通常性能相當不錯。因此，即使存在很多假陽性反應，其中應該也會有毒性更強的分子。
其次，研究團隊其實觀察了這些新生成分子的許多結構。不難發現，其中很多看起來确實像 VX 和其他戰劑，甚至在一些模型中生成的是真正的化學毒劑。并且，這些是在模型從未見過這些化學毒劑的情況下而生成的。毋庸置疑，模型肯定能夠生成一些有毒的分子，因為其中一些分子以前就已經被制造出來了。
那麼，令人擔心的是，它到底有多容易實現呢？
研究人員表示，在開發過程中所使用的很多東西都是免費的。你可以從任何地方下載毒性數據集。如果有一個人知道如何用 Python 編程，并且具備一些 ML 能力，那麼可能利用一個短暫的周末，就可以構建出類似于這種由有毒數據集驅動的生成模型。
因此，這就是研究人員真正考慮将這篇論文發表出來的原因：對于這種類型的濫用來說，它的門檻實在是太低了。
Urbina 在論文中表示：“我們仍然跨越了一個灰色的道德界限，證明有可能設計出虛拟的潛在有毒分子，而不需要太多的努力、時間或計算資源。雖然我們可以輕易地删除我們創造的成千上萬的分子，但我們不能删除如何重新創造它們的知識。”
Urbina 表示，這是一個非常不尋常的話題，他們想把這些真正的信息拿出來，去真正的談論它。與此同時，不希望将其落入非法者之手。
但他明确表示，作為科學家，應該注意發布的内容必須是負責任地完成的。
除此之外，Urbina 表示，目前所做的确實很容易被複制。因為其中很多東西都是開源的——科學的共享，數據的共享，模型的共享。
Urbina 殷切希望更多的研究人員承認并意識到潛在的濫用。
當你開始在化學領域工作時，你确實會被告知化學濫用的危害，你有責任确保你盡可能地避免這種情況。而在 ML 中，與之相反，沒有任何關于濫用該技術的指導。
“我們隻是希望更多的研究人員承認并意識到潛在的濫用” ，Urbina 說道。
考慮到模型的性能越來越好，所以将這種意識公開是非常有必要的，可以真正地幫助人們去注意這個問題：至少在更廣泛的圈子裡被讨論過，至少可以成為研究人員所關注的點。
點這裡關注我記得标星~
熱門視頻推薦
你可能想看：
最新文章
-
李可：凡遇久病，陽虛調脾，陰虛治胃
7小時前 -
治虛之三本二統論(肖春宏老師)
7小時前 -
銷售信文案賺錢高手系列24：如何提高訂單轉化率
7小時前 -
董針——眼科處方
8小時前 -
幾味藥解決患者甲狀腺結節，祛痰除濕散結是
8小時前 -
辨證施治概要--胡希恕
8小時前 -
古中醫舌診臨床實用針灸選穴思路（下）
9小時前 -
十二經絡走向動态圖！！！
9小時前
熱門文章
-
重新命名後的高速公路 怎麼命名編号的
5天前 -
以神煞“真驿馬”速斷遠行年份
7天前 -
中醫五行與性格：土性人③鄒一針- 簡書
6天前 -
股市尋寶圖（隻鐵）
4天前 -
六爻預測367講：想辭職辭不掉，反反複複原來是個原因
6天前 -
[轉載]師斷命秘訣集錦
5天前 -
超短線成功秘笈
4天前 -
這篇《退休書》一夜間火了
6天前
有話要說...