引言
深度學習方法在藥物發現和設計以及毒性預測領域引起了越來越多的關注。目前已經在分子特性預測中應用了幾種深度學習方法，其中兩種最流行的方法是深度前饋神經網絡(deep feedforward neural networks)和圖神經網絡(graph neural networks)。前者使用預先計算的分子表示，例如分子描述符和指紋作為輸入，使用反向傳播和優化計算多個全連接隱藏層中隱藏單元的權重和偏差，預測結果由輸出層的激活函數給出；后者使用分子表示為近似原子的節點和近似鍵的邊，它通過圖節點之間的信息傳遞來考慮圖的依賴性。
共形預測(conformal prediction)是一種置信度預測器，它生成具有用戶定義的錯誤率的預測。在某個置信度水平下，所有預測范圍的那部分將包括正確的標簽或值(分別用于分類和回歸問題)。共形預測的好處之一是它可以逐個類地應用，獨立保證每個類的錯誤率。這對于不平衡的分類問題特別有用，因為其可以大大減少偏差。
毒性預測是一個預測置信度至關重要的領域，但大多數深度學習方法并不能準確量化預測的不確定性。貝葉斯神經網絡等一些方法已被證明在毒性預測方面效果很好，但它們缺乏與共形預測相關的靈活性，在這種情況下，任何基礎模型都可以轉換為共形預測器。因此，深度學習和共形預測的結合是毒性預測的一個有吸引力的選擇，并且可能有助于定義一個可靠的可靠性評估框架。本文研究的目的是展示共形預測如何幫助構建基于深度學習的預測器，并具有相關的定量不確定性度量，這些度量對不平衡數據也表現良好。作者展示了實現這一目標的不同方法，并使用了幾種不同的深度學習架構，還針對來自Tox21的數據的基礎模型評估共形預測器的性能。
方法簡介
(1)數據：使用了來自Tox21訓練數據(詳見網址：https://tripod.nih.gov/tox21/challenge/data.jsp)。該數據集包含受試化合物對12種核受體的毒性以及在體外測試系統中測量的應激反應相關靶標。
(2)建模：使用scikit-learn StratifiedKFold 拆分實現的10倍交叉驗證訓練模型。在每個fold中，留出10%的訓練數據用于驗證，其余訓練數據的20%用作校正集。訓練數據的最后剩余部分，稱為共形預測中的適當訓練集，用于訓練模型。作者使用了幾種深度神經網絡架構以及基于決策樹的算法-隨機森林(RF)和LightGBM。對于深度學習，使用了一個四層和一個八層前饋深度神經網絡(分別稱為DNN4和DNN8)以及圖卷積神經網絡的幾種不同實現形式：圖注意力網絡(GAT)、圖卷積網絡(GCN)和r半徑子圖神經網絡(GNN)。
(3)共性預測：使用nonconformist包(詳見網址：https://github.com/donlnz/nonconformist)生成共性預測器。
(4)模型評估：在指定的置信度水平下，如果包含正確標簽的預測分數等于或高于設置的置信水平，則稱該預測器有效。例如，在80%的置信度水平下，至少80%的預測應包含正確的標簽。作者還使用了平衡準確度 (BA)、敏感性、特異性、ROC、F1得分、Kappa、精確度和 Matthews 相關系數(MCC)評估了基礎模型的預測性。
主要結果
圖1-6顯示了基于指紋、RDKit描述符和活性/非活性化合物的圖卷積的不同模型的交叉驗證測試集預測的效率。大多數結果遵循一個典型的模式，其中數據集的平均效率在大約 75-80%的置信度達到峰值，而更高的置信度會導致更多的雙重預測和更低的置信度在更多的空預測中。這些結果表明，共形預測器可以達到十分有效的水平，使其在預測毒性任務中非常有用。
為了演示如何解釋共形預測器的輸出，圖7中舉例說明了輸出以及基于指紋的DNN8 模型的結果。為每個類別獲得一個共形p值，并結合所需的顯著性水平，這些用于導出預測標簽。對于示例化合物，兩個類別的p值都相對較低，但毒性類別的p值明顯較高，表明是有毒化合物。輸出允許對單個化合物進行平衡評估，并有可能增強化學風險評估。
圖8顯示了基于初始預測類別概率和共形預測結果得出的不同模型的平均BA和MCC。在這項研究中，作者實現了兩種主要類型的深度學習算法，即深度前饋神經網絡和圖神經網絡。其中一個基于圖的模型(GCN)在BA和MCC方面優于其他模型。但是，需要強調的是，這可能取決于所使用的超參數。
從圖8中可以看出，與共形預測框架相比，基礎模型的性能出現了兩種主要情況：(1)GCN等高性能基礎模型的預測性能沒有提高。這并不奇怪，因為很難實現更好的預測。但是共形預測框架的添加確保了對模型的適用性域(AD)的嚴格處理，更清楚地表明無法對哪些化合物進行單標簽預測。(2)大多數其他模型通過檢索更多少數類化合物從CP框架中受益，BA增加，盡管通常以更多誤報為代價，MCC減少。此外，對于不平衡數據集，共形預測框架的應用解決了如何使用嚴格且經過數學驗證的重新分類程序來調整標簽分類的截止級別的問題。同時，共形預測還允許用戶為預測設置可接受的置信度水平。
總的來說，本文研究強調了與基礎模型相比，共形預測增加作用的兩個領域。首先，文中所有的共形預測器都生成了有效的模型，從而在選定的置信度水平下提供了預期的錯誤率。這允許用戶將預測調整為適合手頭任務的置信度。其次，作者證明了共形預測器通常會檢索到更多有毒（少數）類的例子，從而降低了假陰性的風險，盡管以更多的假陽性為代價。
圖表匯總
圖1. 在不同顯著性水平(sig_lvl)的所有數據集中，基于指紋的模型對活性化合物類的預測效率
圖片來源于JCIM
?
圖2.?在不同顯著性水平(sig_lvl)的所有數據集中，基于指紋的模型對非活性化合物類的預測效率
圖片來源于JCIM
?
圖3.?在不同顯著性水平(sig_lvl)的所有數據集中，基于RDKit描述符的模型對活性化合物類的預測效率
圖片來源于JCIM
?
圖4. 在不同顯著性水平(sig_lvl)的所有數據集中，基于RDKit描述符的模型對非活性化合物類的預測效率
圖片來源于JCIM
?
圖5.?在不同顯著性水平(sig_lvl)的所有數據集中，基于圖卷積模型的模型對活性化合物類的預測效率
圖片來源于JCIM
?
圖6. 在不同顯著性水平(sig_lvl)的所有數據集中，基于圖卷積模型的模型對非活性化合物類的預測效率
圖片來源于JCIM
?
圖7. 選定化合物的共形預測的輸出示例。為每個類別生成一個p值，并將其與所需的置信度水平(1-顯著性水平)進行比較以得出標簽
圖片來源于JCIM
圖8.?在測試集上為基礎模型和相應的共形預測模型在最大平衡效率下選擇的平均性能指標
圖片來源于JCIM
亮點總結
毒性預測建模有助于降低一系列應用中的風險，并可能作為藥物發現中監管決策的基礎。然而，如果相關的不確定性沒有被充分量化，這些預測的作用就會受到限制。最近的研究顯示基于深度學習的預測模型在毒性預測方面的巨大前景，本文作者研究了基于深度學習的預測器與共形預測框架的結合，以生成具有明確定義的不確定性的高度預測模型。作者在共形預測設置中使用了一系列深度前饋神經網絡和圖神經網絡，并評估它們對來自Tox21的數據的性能。作者還將共形預測器(conformal predictors)的結果與底層機器學習模型的結果進行比較，結果表明，即使在高置信度水平下，也可以獲得高度預測模型，從而產生非常有效的共形預測器?？偠灾?，本文結果突出了共形預測器的實用性，它是一種可靠地提供毒性預測的便捷方式，增加了對模型性能的統計保真以及與基礎模型相比對少數類的更好預測能力。同時，本文證實了基于深度學習的共形預測器可以生成高度預測模型，并對來自Tox21的數據具有相關的置信度。與基礎模型相比，共形預測增加了可控的錯誤率和對有毒化合物的更好追溯。在作者看來，高預測性能和置信度的結合使得基于深度學習的共形預測器非常適合預測毒理學中的許多任務。
代碼下載
Tox21訓練數據：https://tripod.nih.gov/tox21/challenge/data.jsp
nonconformist包：https://github.com/donlnz/nonconformist
本文模型：https://github.com/FredrikSvenssonUK/tox21_conformal
?
參考文獻
Jin Zhang, Ulf Norinder, and Fredrik Svensson, Deep Learning-Based Conformal Prediction of Toxicity, Journal of Chemical Information and Modeling, 2021, ASAP. DOI: 10.1021/acs.jcim.1c00208.