文章簡介
作者設計了一種用于從頭設計具有所需特性的分子的新型計算策略，稱為ReLeaSE（結構演化的增強學習）。ReLeaSE在深度學習（DL）和強化學習（RL）方法的基礎上，集成了兩個深度神經網絡（生成式和預測性），它們經過訓練可用于生成新穎的指定屬性分子庫。ReLeaSE使用SMILES字符串作為分子的表示形式。生成模型通過stack-augmented RNN進行訓練，以生成化學結構合理的SMILES字符串，并使用預測模型來預測生成的化合物相關屬性。作者使用ReLeaSE方法來設計化合物庫，這些化合物庫均具有相關的特征，或偏向于結構復雜性，或偏向于特定物理特性，或者偏向于特定的生物活性。本文提出的方法可用于設計具有特定屬性的化合物庫。
計算方法
Deep?RL（深度強化學習）
作者
Alexander Tropsha（JCIM副主編）
單位
Laboratory for Molecular Modeling, Division of Chemical Biology and Medicinal?Chemistry, UNC Eshelman School of Pharmacy, University of North Carolina, Chapel?Hill, NC 27599, USA
計算過程簡述
作者使用Deep RL的方式來進行化學分子從頭設計，使用ChEMBL數據庫中的150萬個分子進行模型訓練，SMILES作為分子表現形式，以此訓練G模型，使其學習生成SMILES字符串的規則，以便生成合理的SMILES字符串，后續又使用P模型來對化合物特性進行預測，并使用P模型來對G模型進行微調，以便產生符合特定屬性的分子庫。
?圖1.文章發表
圖片來源 SCIENCE?ADVANCES
ReLeaSE?工作流
ReLeaSE 由深度神經網絡[generative (G) and predictive (P)]組成。訓練過程分為兩個階段，第一階段，使用監督學習算法對兩個模型進行訓練；第二階段，使用RL方法對模型進行聯合訓練，RL可以優化目標屬性。整個系統中，G模型用于產生符合具有化學可及性的新型分子，而P模型（用于預測新化合物的性質）則扮演評判的角色，對生成的分子打分，給與獎勵或者懲罰。P模型會對G模型進行微調，目的是將獎勵打分提到最高。?
圖2.?Deep?RL算法的工作流程
圖片來源 SCIENCE?ADVANCES
神經網絡架構
G模型和P模型都組合到RL系統中。標準SMILES格式（字母和符號的集合）被用于編碼。例如，阿司匹林被編碼為[CC（= O）OC1 = CC = CC = C1C（= O）O]。模型G為generative RNN,作者這里使用一種特殊的stack-augmented RNN(Stack-RNN)。Stack-RNN的目標是學習如何生成標準的SMILES字符串，學習其中隱藏的規則。模型P被用于估算生成分子的物理，化學或生物學特性。該預測模型是一個深層神經網絡，它由一個嵌入層，一個LSTM層和兩個密集層組成。該網絡旨在使用SMILES字符串作為輸入向量來計算分子的相關屬性。
生成具有新穎結構的化學分子
用ChEMBL數據庫中的約150萬個化學分子結構訓練模型;訓練的目的是為了學習生成SMILES字符串的規則。為了證明Stack-RNN的無偏性，作者生成了超過1M的化合物。從頭開始分子設計方法一直以來存在的缺陷就是生成的化學分子無法合成，不具有化學可及性。為了解決這個問題，作者使用ChemAxon來對生成的化學結構進行有效性查驗。結構證明，生成的結構中95％的結構都是有效的化學分子。隨后，作者將1M個從頭生成的分子與ChEMBL數據庫中分子進行了比較，發現模型產生的分子數據比訓練數據集的數據少了0.1％。?
圖3.?模型G產生的一部分分子
圖片來源 SCIENCE?ADVANCES
使用強化學習（RL）生成指定屬性的分子庫
為了探索強化學習（RL）在藥物設計領域中的實用性，作者設計了案例用于研究，此案例用于設計具有指定屬性的化合物庫，屬性如下：（i）重要的分子類藥性物理特征，（ii）特定的生物活性，和（ iii）化學復雜性。物理性質方面，作者選擇了Tm和logP；生物活性方面，作者設計了新型化學表型的Janus蛋白激酶2（JAK2）的假想抑制劑；苯環的數量和取代基的數量（例如-OH，-NH2，-CH3-CN等）被用作獎勵得分，以便用于設計復雜的化合物。作者使用基線（無RL）生成器和RL優化生成模型采樣10000個分子，然后使用相應的預測模型計算了它們的性質，RL模型表現良好。
圖4.?RL優化與基線模型生成分子的屬性分布
圖片來源 SCIENCE?ADVANCES
化學分子庫可視化
為了了解G模型產生的分子在化學空間中的分布，作者使用t-SNE進行了降維處理，選擇Tm，logP和JAK2的相關數據集，此類數據集是通過相應的優化模型生成。每個點對應一個分子，并根據其屬性值進行著色?？偟膩碚f，這種方法提供了一種快速的方法，可以根據化學多樣性和相應物化屬性的變化來直觀地觀察化合物在化學空間中的分布。從結果中可以明顯的觀察到相似logP值的分子明顯的聚集在一起。但對于Tm來說，沒有明顯的區分，高和低Tm分子混合在一起。而JAK2數據集中，可以觀察到兩個比較大的不重疊區域，大致對應于無效化合物（pIC50 <6）和有效化合物（pIC50≥6）的聚類。
圖5.?依據t-SNE對生成的分子進行聚類
圖片來源 SCIENCE?ADVANCES
總結討論
本文作者設計出了ReLeaSE策略，此策略依賴于DL和RL方法，可用于生成指定屬性的化合物庫。作者進行了計算實驗，驗證了ReLeaSE策略在單任務方案中的效率。同時作者也在擴展該系統以便同時對多個目標多種屬性進行優化。在藥物研發領域，在功效，特異性，選擇性，溶解性等方面對藥物分子進行優化是必不可少的，作者未來將會著力于解決這一挑戰。
參考文獻：
Popova, M., O. Isayev, and A. Tropsha, Deep reinforcement learning for de novo drug design. Sci Adv, 2018. 4(7): p. eaap7885.