国产三级精品三级在线观看,国产高清无码在线观看,中文字幕日本人妻久久久免费,亚洲精品午夜无码电影网

【AI+材料】JPCA：SLI-GNN新型圖神經網(wǎng)絡框架用于晶體與分子性質預測

研究背景

近年來，許多研究者提出了基于圖神經網(wǎng)絡（graph neural network，GNN）的框架來預測晶體和分子的性質。具有代表性的晶體圖卷積神經網(wǎng)絡（crystal graph convolutional neural network，CGCNN），提供了靈活的框架來預測晶體材料的性能；后續(xù)發(fā)展的iCGCNN結合了Voronoi劃分的晶體結構信息，明確了由臨近原子組成的三體之間的相關性，以及優(yōu)化了原子間鍵的化學表示，預測性能得到了進一步的提升。與僅針對晶體或分子開發(fā)的GNN相比，MEGNet是提出的用于分子和晶體性質預測的通用框架，其強調了結構的全局狀態(tài)屬性。

為了進一步增強GNN對于晶體和分子性質預測的通用能力，蘇州大學李有勇和紀玉金等人開發(fā)了一個適用于晶體和分子的通用自學習輸入GNN框架（self-learning-input GNN，SLI-GNN），該框架加入了動態(tài)的特征嵌入層，利用消息傳遞神經網(wǎng)絡（message passing neural network，MPNN）的迭代來自動更新圖中節(jié)點與邊的特征，并加入了最大信息熵（Infomax）機制來最大化局部特征與全局特征之間的平均交互信息。SLI-GNN的核心優(yōu)勢在于：（i）可以獲得與基準相當?shù)念A測性能；（ii）加入的MPNN層是動態(tài)可調的；（iii）僅需少量的原始輸入特征就能實現(xiàn)高性能的模型訓練。

結果與討論

（1）SLI-GNN框架

SLI-GNN的整體框架如圖1a所示。模型訓練需要晶體/分子的結構數(shù)據(jù)與目標性質數(shù)據(jù)，并將結構轉化為圖特征表示，經過動態(tài)的特征嵌入層后得到特征向量，并使用MPNN、池化層、全連接層與目標性質進行映射。

與大部分GNN類似，圖特征表示由以原子表示的節(jié)點和以鍵表示的邊組成。對于給定的分子或晶體，該模塊首先從輸入文件中讀出結構信息，生成圖特征表示。對于每一個原子，使用原子序數(shù)來表示節(jié)點信息；對于每一條化學鍵，使用鍵長來表示邊信息。與之前的GNN框架使用靜態(tài)的特征嵌入層不同的是，作者引入了一個動態(tài)的特征嵌入層（圖1b），將MPNN的參數(shù)與節(jié)點信息和邊信息進行迭代乘積，并使節(jié)點信息與邊信息的維度保持固定。

MPNN的參數(shù)更新使用了聚合函數(shù)，在前向傳播過程中，每個原子的信息將與其相鄰原子的信息聚合在一起，形成一個表示局部特征的向量。在MPNN層之后，常見的聚合函數(shù)只利用最后一層的向量，忽略了其他層，而每一層通過聚集前一層的鄰域來增加影響分布的大小。為了解決這個問題，作者引入了Infomax 機制，將前一層的所有向量信息匯總為后一層的輸入，通過這種方式，模型可以適應每個節(jié)點的有效鄰域大小，從而準確地獲得所需的適應性（圖1c）。晶體/分子的局部特征可以從近鄰中學習，而整個晶體/分子的全局特征將傾向于來自高層特征。簡而言之，通過Infomax機制，最大化了節(jié)點和邊之間的交互信息，從而被下游的學習任務重用。在MPNN層之后，特征向量聚合成一個整體的特征向量。全局池化層將一批晶體/分子映射拆分為多個小映射，通過max、mean或add 操作將多個原子矢量轉換為一個晶體/分子矢量。作者在MPNN層的輸出上使用了平均池化。

【AI+材料】JPCA：SLI-GNN新型圖神經網(wǎng)絡框架用于晶體與分子性質預測

圖1.（a）SLI-GNN框架（b）動態(tài)特征嵌入層（c）MPNN層

（2）SLI-GNN在晶體材料上的預測性能

作者使用Materials Project中的晶體數(shù)據(jù)來評估SLI-GNN的性能，從Materials Project收集了大約3萬個無機晶體材料及其性質。如圖2a所示，對于形成能，使用SLI-GNN的平均絕對誤差是0.061 eV/atom，處于基準0.04-0.1 eV/atom之間，這表明預測的形成能與DFT計算的形成能吻合度良好，證明SLI-GNN對晶體性質預測具有較高的預測精度。在訓練過程中的訓練/驗證誤差如圖2b所示，這表明在訓練過程中，訓練集和驗證集的性能匹配良好。也可以看出，經過20次 epoch的訓練，SLI-GNN達到了理想的精度。在預測絕對能量和帶隙時，平均絕對誤差分別為0.07 eV和0.32 eV，絕對能量的預測精度與其他模型接近 (~ 0.07 eV)，而帶隙的預測精度略高于已有模型（0.33 eV）。

除了SLI-GNN在回歸任務外，作者還測試了導體和非導體分類的性能。作者將帶隙等于0 eV的晶體歸類為導體并標記為1，而將其他晶體的標記設置為0。分類任務的性能通過使用receiver operating characteristic area under the curve （ROC-AUC）來評估，如果ROC-AUC接近1.0，則表明分類性能優(yōu)異。從圖2c的ROC 曲線可以看出，SLI-GNN達到了很高的預測精度（94%），意味著SLI-GNN的分類效果也是可以接受的。

為了深入理解SLI-CNN學習的晶體特征與性質之間的聯(lián)系，作者使用了t-distributed stochastic neighbor embedding（t-SNE）來可視化池化層的輸出，如圖2d所示。其中同一簇中的鄰近點在組成或結構上應該是相似的。從2D映射中，可以觀察到許多局部團簇都有相似的顏色，這表明它們可能具有相似的形成能，而SLI-GNN可以很好地捕捉到這一點。

圖2.（a）DFT計算的形成能與預測的形成能對比（b）訓練迭代過程（c）ROC曲線（d）t-SNE特征可視化

（3）SLI-GNN在分子上的預測性能

作者也使用了QM9數(shù)據(jù)集來評估SLI-GNN在分子性質預測中的性能，數(shù)據(jù)集包含133885個有機小分子，其分布如圖3a所示。作者以四種常見的分子性質作為訓練目標，包括 0 K時的內能（U₀）、能隙、最高的已占據(jù)分子軌道（HOMO）的能量和最低的未占據(jù)分子軌道（LUMO）的能量，平均絕對誤差分別為0.032 eV/atom，0.065 eV，0.046 eV，0.045 eV，如圖3b所示。這四個性質的預測性能可以從它們對應的誤差分布中很好地反映出來。

從圖3c可以清楚地看出，對能隙的預測在能隙值的整個范圍內都僅有很小的誤差。SLI-GNN的精度與之前的GNN模型接近，表明SLI-GNN可以獲得理想的分子性質預測性能。圖3d中的損失曲線反映了驗證集性能與訓練集的性能一致，從而避免了訓練過程中的過擬合，而且，訓練集和驗證集的平均絕對誤差僅在20個訓練周期內就降到了一個低值。

圖3.（a）分子中原子數(shù)量的統(tǒng)計直方圖（b）四種性質的預測誤差分布（c）DFT計算的能隙與預測的能隙對比（d）訓練迭代過程

（4）動態(tài)特征嵌入層與Infomax機制的重要性

動態(tài)特征嵌入層的引入使得原子特征和化學鍵特征隨著神經網(wǎng)絡的迭代而自動更新。為了證明動態(tài)特征嵌入層的優(yōu)勢，作者研究了隨著原子特征數(shù)量的減少，參數(shù)的變化對預測性能的影響。如圖4a所示，以CGCNN為進行比較，作者嘗試減少原子特征，發(fā)現(xiàn)當只使用一個原子特征時，平均絕對誤差從0.10 eV/atom增加到0.16 eV/atom，預測性能下降；而使用SLI-GNN時，原子特征數(shù)從9個減少到 1個，平均絕對誤差在0.06 eV/atom和0.07 eV/atom之間波動，預測性能幾乎沒有變化。由于在訓練過程中引入了自更新機制，無論選擇哪一種原子特征，SLI-GNN模型都能獲得理想的精度。這意味著 SLI-GNN不依賴于特征選擇，并且只需要更少的輸入來獲得適當?shù)木取?/strong>

Infomax機制的引入使得SLI-GNN可以擴展到更多的 MPNN層。為了解釋這一優(yōu)勢，作者通過改變MPNN層的數(shù)量來考察模型的性能，并和以前的模型性能進行對比。在圖4b中，當增加一定數(shù)量的MPNN層后，CGCNN的預測精度下降，當使用10層MPNN層時，平均絕對誤差變?yōu)?.17 eV/atom。相比之下，使用SLI-GNN時，11層MPNN的平均絕對誤差與使用3層MPNN的結果接近，約為0.065 eV/atom，從而證明了SLI-GNN良好的可擴展性。

圖4.（a）原子特征數(shù)變化對SLI-GNN和CGCNN的性能影響（b）MPNN層數(shù)對SLI-GNN和CGCNN的性能影響

表1. SLI-GNN在晶體和分子數(shù)據(jù)庫上的預測性能及其與基準的對比

（5）與其他框架的對比

作者總結了六種先前報道的模型的輸入、算法、特征嵌入和應用，以突出SLI-GNN的新穎性。在這些模型中，原子序數(shù)是區(qū)分原子類型的常用輸入（如SpookyNet、AimNet和SLI-GNN）。在SchNet、REANN、PhysNet中，原子序數(shù)用原子核的電荷來代替，它們具有相同的功能來標記不同的元素類型。

此外，還可以引入一些其他與原子相關的性質來豐富原子性質的描述，如SpookyNet中的總電荷和自旋態(tài)，CGCNN中的電負性和電子親和性等，但這同時也導致輸入的復雜性提高以及訓練數(shù)據(jù)的適用性降低。由于GNN框架的優(yōu)勢，SLI-GNN的應用范圍涵蓋了分子和晶體性質，而深度神經網(wǎng)絡框架（PhysNet、SpookyNet、AimNet）僅適用于分子體系?？傮w而言，SLI-GNN 的新穎之處集中在兩個方面，即動態(tài)特征嵌入層和 MPNN層中的Infomax機制。

表2. SLI-GNN與其他在原子水平建模的神經網(wǎng)絡模型對比

總結展望

作者開發(fā)了一個通用的GNN框架SLI-GNN，用于分子/晶體的性質預測。SLI-GNN引入動態(tài)特征嵌入層可以對輸入的特征進行優(yōu)化，即在神經網(wǎng)絡迭代過程中對原子特征和鍵特征進行自更新，以獲得原子間和原子內的相關關系以及鍵的相關關系。SLI-GNN中的Infomax機制最大化局部特征和全局特征之間的平均交互信息，并隨著MPNN層數(shù)的增加仍然保持合理的預測性能。所提出的SLI-GNN具有巨大的潛力來提升材料性能預測的能力，從而加速新分子和晶體的發(fā)現(xiàn)。

文獻信息

Zhihao Dong, Jie Feng, Yujin Ji, Youyong Li. SLI-GNN: A Self-Learning-Input Graph Neural Network for Predicting Crystal and Molecular Properties. J. Phys. Chem. A (2023)

https://doi.org/10.1021/acs.jpca.3c01558

點擊閱讀原文，報名計算培訓！

原創(chuàng)文章，作者：計算搬磚工程師，如若轉載，請注明來源華算科技，注明出處：http://m.xiubac.cn/index.php/2023/10/30/ead626ca48/

国产三级精品三级在线观看,国产高清无码在线观看,中文字幕日本人妻久久久免费,亚洲精品午夜无码电影网

【AI+材料】JPCA：SLI-GNN新型圖神經網(wǎng)絡框架用于晶體與分子性質預測

相關推薦