PNAS | 如何降低虛擬篩選的假陽性？機器學習

虛擬篩選方法一般可分為兩類：基于配體的篩選和基于結構的篩選?；诮Y構的篩選通過將化學分子庫的每個分子依次對接到靶標蛋白三維結構的結合口袋中，并使用打分函數來評估每種對接的蛋白質-配體復合物的結合“質量”。打分函數直觀上是為了替代給定蛋白質-配體復合物的預期強度（即其結合親和力），通過使用打分函數選擇最有希望的化合物進行實驗驗證。因此打分函數的準確性至關重要，也是基于結構的篩選成功與否的主要決定因素。但即使是該領域的專家使用他們自己喜歡的首選方法，其中可能包括各種對接過濾器乃至人工肉眼挑選，其預測化合物中也只有約12％的化合物能夠表現出活性。

當然，如果是在所篩選分子庫限于含有對靶點具有天然親和力的官能團的化合物的情況下，命中率也可能更高。相反，在沒有使用其他過濾器或人工干預的情況下應用打分函數的命中率通常較低。命中率低的原因除了從建模復合物的結構中帶來的不顯著因素（如化合物溶解度，配體的質子化/互變異構狀態建模錯誤等）之外，還可能歸因于傳統打分函數的局限性：這些函數可能包括單個能量項的參數化不足，某些可能重要的項被排除在外以及未能考慮項之間潛在的非線性相互作用。正是由于這些原因，機器學習方法特別適合開發新的在無需人工干預的情況下提高鑒定活性化合物能力的打分函數。但是進一步的分析顯示，迄今為止，許多方法報告的人工基準實驗中的有希望的結果可能無意中使模型過度擬合了訓練數據：這可能是信息遺漏的微妙影響，當驗證/測試數據并非真正與訓練數據無關時，就會發生這種情況。

其他研究表明，深度學習方法的出色表現可通過檢測活性化合物與誘餌化合物的化學性質之間的系統差異來實現。這些假象中的任何一種都夸大了基于基準性能的期望，但最終在后續的前瞻性評估中對這些方法進行測試時，最終導致了不可轉移和令人失望的結果。

?？怂共趟拱┌Y中心和堪薩斯大學的研究人員開發了結合機器學習方法的基于結構的藥物篩選vScreenML，首先構建了一個新的數據集，該數據集旨在促進對機器學習模型的訓練進而在現實虛擬篩選應用程序中發揮最大作用。為了建立該數據集，作者生成了一組“compelling”誘餌復合物，即一組模擬典型化合物的化合物，如果這些化合物在典型的虛擬篩選流程中能夠被篩選出來，則會進入到實驗測試。然后，使用此數據集來訓練機器學習分類器進而將有活性的化合物從這些“compelling”的誘餌化合物中識別出來。

1. 訓練數據集的生成

作者從PDB數據中挑選了一些有活性的復合物，主要包含那些具有與實際篩選過程中包含在他們的化合物庫中相同的理化特性的配體分子，最終收集了1,383個活性復合物，然后對其進行能量最小化，進而避免無意中訓練出僅區分晶體結構和虛擬篩選所產生的模型。接下來是得到誘餌復合物數據集，對于每種活性復合物，作者首先使用DUD-E server來識別50種具有與活性化合物相匹配的理化性質但化學結構完全不相關的化合物,然后得到每種候選誘餌化合物的低能構象，并使用ROCS針對活性化合物的3D結構進一步篩選這些構象。利用誘餌化合物與活性化合物的結構比對，作者將誘餌置于蛋白質的活性位點，并進行了與活性復合物相同的能量最小化（圖1A）。作者將此數據集命名為D-COID（dataset of congruent inhibitors and decoys），并已公開提供給其他人免費使用。為了確認這種誘餌生成策略確實導致了一個具有挑戰性的分類問題，作者應用了文獻中報道的打分函數[nnscore，RF-Score v1，RF-Score v2，RF-Score v3，PLEClinear，PLECnn，PLECrf和RF-Score-VS]來區分D-COID數據集中的活性復合物和誘餌復合物，發現活性復合物的分數分布與誘餌復合物的分數分布有較大的重疊（圖1B），這表明這些打分函數在應用于此數據集時鑒別能力有限。

圖1 D-COID訓練數據集的生成

圖片源于PNAS.

2. 用于識別活性復合體的分類器：vScreenML

作者以Rosetta能量函數為起點，盡管Rosetta能量函數并不常用于虛擬篩選，但這主要是因為它太慢而無法用于對接大型化合物庫，在活性和誘餌復合物分類的最新基準中，Rosetta能量函數表現出與流行的FRED Chemgauss4打分函數相當的性能。此外，將Rosetta應用于D-COID集合不會產生與先前的實驗（圖2A）明顯不同的結果，并且通過MCC （Matthews correlation coefficient）（0.40）進行了定量確認。接下來，作者使用10倍交叉驗證對該打分函數中的項進行加權，以使用感知器維持Rosetta能量函數的線性函數形式，從而在D-COID分類任務中提高性能；得分的表觀分離度略有改善（圖2B），但MCC得到了顯著改善（0.53）。這主要是因為Rosetta能量函數主要針對蛋白質而不是蛋白質-配體復合物進行了優化，并且針對特定任務重新訓練其成分能量自然會提高對該任務的性能。通過使用XGBoost框架（梯度增強決策樹的實現），作者觀察到分配給活性/誘餌復合體的得分明顯分離（圖2C），MCC略有增加（0.57）。

圖2 vScreenML的開發。疊加的直方圖顯示了從D-COID對活性復合物（藍色）和誘餌復合物（紅色）進行打分時獲得的得分

圖片源于PNAS.

為了補充Rosetta能量函數中的現有項，作者添加了一系列由Rosetta計算的未包含在能量函數中的結構質量評估，這些項的添加產生了具有進一步提高的判別力的模型（圖2D）。除此之外，作者還并入了其他結構特征，包括來自RF-Score（計算特定的成對分子間接觸發生的特征），BINANA（分子間接觸的分析），ChemAxon（配體特異性的分子描述符）和Szybki（捕獲結合時丟失的配體構象熵的項）。通過使用該特征數據集（稱為“vScreenML”）訓練模型進一步增加了活性復合物和誘餌復合物之間的鑒別能力（圖2E）。最后，作者使用超參數優化來進一步優化模型，并相應地開發了一個模型，該模型幾乎完全分離了活性復合物和誘餌復合物（圖2F）以及前所未有的MCC（0.74）。

3. 使用獨立測試集對vScreenML進行基準測試。

作者針對DEKOIS數據集中的23種蛋白質中的每一種都生成30至40個活性復合物和800至1200個誘餌復合物，然后使用Rosetta對所有這些復合物進行能量最小化，將vScreenML和其他八個機器學習打分函數[nnscore，PLECnn，PLECrf，PLEClinear，RF-Score v1，RF-Score v2，RF-Score v3和RF-Score-VS]對經過能量最小化的對接好的模型進行打分并排名。為了比較不同方法之間的性能差異，作者使用一種方法（針對23個蛋白質靶標中的每一種）將EF-1％繪制為使用另一種方法的EF-1％的函數（圖3A）。在這些比較中，通過將vScreenML與PLECnn（在專門針對活性復合物訓練的模型中代表當前技術水平的神經網絡）進行比較，PLECnn在3例（對角線上方的點）中的表現優于vScreenML，而在12例中，vScreenML表現更好（其他8例是平局）。此外，對于10個蛋白質目標中的5個，vScreenML能夠將活性化合物排在前100名（即給定目標中化合物的前5％）（圖3B）。除了RF-Score-VS兩次達到此標準外，vScreenML在統計學上都優于所有其他替代打分函數。

圖3 使用兩個獨立的虛擬篩選基準，將vScreenML與其他打分函數進行比較

圖片源于PNAS.

4. 在預期實驗中評估vScreenML

作者選擇具有代表性的人類乙酰膽堿酯酶AChE作為靶標，使用vScreenML針對一個包含7.32億個化學分子的分子庫進行了篩選，并選取了前100個作為候選分子。對于這100種初始候選化合物中的每一種，重新返回化學分子庫中根據化學相似性鑒定出209個類似物；在每次搜索中將它們與母體化合物合并后，形成了一個新的包含20213種不同化合物的聚焦分子庫，然后使用vScreenML對這些第二階段候選物進行排名。將兩輪篩選結果的20個得分最高的化合物綜合起來，去掉彼此非常相似的化合物，并購買或合成了其余的化合物。根據標準過濾器，這些結構均未被預測為PAINS（pan-assay interference）化合物。使用比色酶測定法（圖4A）以50μM的濃度測試了這23種化合物對AChE的抑制作用?？梢钥吹絭ScreenML所選擇的23種化合物幾乎都顯示出可檢測到的酶抑制作用，除AC12和AC7以外，所有化合物相對于單獨的二甲基亞砜（DMSO）均具有統計學上顯著的AChE活性差異。在這23種化合物中，其中10種提供了超過50％的抑制作用，表明這些化合物的IC50優于50μM。此外，盡管活性最好的一對（AC6和AC3）具有廣泛共享的子結構，但其仍然具有不同的化學骨架（圖4B）。最后，進一步評估了最有效的抑制劑AC6的活性，在沒有任何藥物化學優化的情況下，該化合物的IC50為280 nM，Ki值為173 nM（圖4C）。因此，應用vScreenML篩選的命中率比典型的篩選方法要高得多，并且還產生了比通常所觀察到的更有效的優化起點。此外，vScreenML用于鑒定該化合物的復合物基礎模型顯示了廣泛且幾乎最佳的蛋白質-配體相互作用（圖4D）。?

圖4 在虛擬篩選中針對人乙酰膽堿酯酶（AChE）對vScreenML進行前瞻性評估

圖片源于PNAS.

為了排除vScreenML在訓練過程中已經“發現” AC6作為AChE抑制劑的可能性，作者進一步使用化學信息學方法來嘗試找到AC6。首先為三種不同的“反向篩選”方法提供了AC6的化學結構：即相似性整合方法（SEA），SwissTargetPrediction和PharmMapper。SEA和SwissTargetPrediction根據2D相似性（即相似的化學結構）進行此搜索，而PharmMapper則評估3D相似性（即共享藥效團）。對每種方法都采用了AC6的前五項預測活性，但發現這些方法中沒有一個將AChE包括在其預測中（圖4E）。為了直接確定迄今為止描述的與AC6最相似的AChE抑制劑，作者從ChEMBL中收集了報道具有該靶標活性的所有2,742種化合物，然后篩選了該集合以確定其與AC6的相似性（通過化學指紋或共享的子結構定義），發現通過兩種方法測得的5種最相似的化合物與AC6均無明顯相似性（圖4F）?？偠灾?，這些實驗證實了AC6和其他AC系列化合物在抑制AChE方面確實是新穎的化學骨架。

??