改進新興技術(shù)的催化材料是一項艱巨的任務。在多相催化劑中，雙金屬合金由于獨特電子性質(zhì)得到了廣泛關注。其中，密度泛函理論（DFT）計算成為在原子水平上分析催化活性和篩選新型催化材料的重要手段。然而，DFT計算成本限制了對廣闊化合物空間的探索，并阻礙了催化材料的高通量計算篩選。巴塞羅那自治大學的 A. Comas-Vives等人建立了與吸附位點相關的局部描述符的機器學習（ML）模型，用于預測吸附能，加快了對吸附位點周圍局部活性位點的電子結(jié)構(gòu)識別，加快了吸附能的預測，進一步實現(xiàn)對催化劑的高效篩選。

1.?本文提出了解決基于機器學習模型預測吸附能的兩個局限性方法，并成功構(gòu)建與吸附位點相關的局部環(huán)境描述符的機器學習模型，用于預測吸附能。

2.?將機器學習模型與聚類分析相結(jié)合，實現(xiàn)對數(shù)據(jù)庫中異常數(shù)據(jù)的檢測，進一步提高了模型的準確性。

3.?CatBoost模型在訓練集和測試集上的MAE分別為0.019 eV和0.174 eV，取得最優(yōu)異的性能，并通過該模型準確預測了含有C、N、S、O和H原子幾種物質(zhì)的吸附能。

計算與機器學習方法

本文采用VASP軟件包進行第一性原理DFT計算，使用BEEFvdW函數(shù)分別對數(shù)據(jù)庫中的幾何結(jié)構(gòu)進行自旋極化單點能計算，波函數(shù)的截斷能設置為35Ry，電荷密度的階段能設置為350Ry，同時作者對布里淵區(qū)進行4×4×1的網(wǎng)格采樣。

本文使用梯度增強架構(gòu)的隨機森林回歸（RFR）、極致梯度提升回歸（XGBoost）、梯度提升算法回歸（CatBoost）和輕量級梯度提升機算法（LightGBM）作為機器學習模型。同時，作者采用了多元線性回歸（MLR）和核嶺回歸（KRR）的作為線性回歸機器學習模型，選擇了均方誤差（MSE）和平均絕對誤差（MAE）指標評估模型的性能，并且通過SHAP評價輸入特征和預測結(jié)果之間最相關的相關性。

本文選用34個描述符進行吸附能的機器學習建模，描述符分別為結(jié)構(gòu)、電子和原子/元素性質(zhì)。其中，表面相關描述符的構(gòu)建流程如圖1a所示，主要是通過表面頂部組裝的球體獲得，該球體的中心位于頂層上方1.5?（Z軸坐標），XY軸坐標由表面上的吸附質(zhì)確定，如圖1b和c所示。隨后，本文進一步研究了描述符與吸附能之間的相關性，圖2顯示了每個描述符之間的Pearson系數(shù)，并發(fā)現(xiàn)每個描述符和吸附能之間的相關性很弱。

圖1 整體工作流程圖及相關位點信息

圖2 特征與吸附能之間與Pearson系數(shù)的線性相關性

本文構(gòu)建了不同的機器學習模型，表1和表2中總結(jié)了不同ML的模型的結(jié)果，發(fā)現(xiàn)MLR模型顯示出較差的性能，與Pearson系數(shù)結(jié)果一致。進一步發(fā)現(xiàn)KRR與RFR模型的平均誤差和準確度（R²）相似，但XGBoost模型的準R²略高，其次，CatBoost模型顯示出較高的偏差。相比之下，XGBoost在訓練集中的偏差優(yōu)于其他算法。為了得到最穩(wěn)定的模型，進一步比較了訓練集和測試集的回歸指標，發(fā)現(xiàn)CatBoost模型表現(xiàn)出優(yōu)異的性能，其次是XGBoost模型。為了驗證CatBoost模型中的偏差合理化，本文比較了吸附能的預測值和實際值。圖3顯示了CatBoost和XGBoost模型的DFT計算吸附能和ML預測吸附能之間的關系。

通過對比發(fā)現(xiàn)，CatBoost模型似乎比XGBoost模型預測的偏差更高。然而，CatBoost模型分散數(shù)據(jù)點較少，也表明了CatBoost模型的MAE比XGBoost模型的MAE表現(xiàn)更好，說明CatBoost模型的性能更優(yōu)異。隨后本文使用Shapley加性規(guī)劃（SHAP）方法評估了單個描述符對吸附能的影響，如圖4，通過對比CatBoost和XGBoost模型的SHAP值，發(fā)現(xiàn)影響性能最大的描述符大多數(shù)是相同的。其中，影響最大的描述符是d軌道電荷，這與雙金屬催化劑中d-band對鍵合相互作用的影響相一致。但發(fā)現(xiàn)CatBoost模型中的每個特征對吸附能影響程度都明顯減少，進一步說明在CatBoost模型中更多的特征與吸附能相關。

表1 不同ML模型10折交叉驗證的準確率和標準差

表2不同ML模型在訓練集和測試集上的評價指標

圖3 CatBoost和XGBoost模型的DFT計算值與ML預測吸附能的對比圖

圖4 每個描述符的SHAP值分布

本文應用了統(tǒng)一流形逼近與投影（UMAP）這一降維技術(shù)來降低訓練集的數(shù)據(jù)維度，UMAP減少局部和全局信息的相似性特征。初始聚類是對原始歸一化數(shù)據(jù)庫的減少值進行的，如圖5a所示，SHAP值的數(shù)據(jù)減少顯示出鍵合相互作用的兩個明顯趨勢，發(fā)現(xiàn)使用SHAP值可以生成更好的的特征。隨后將信息提取到數(shù)據(jù)中，在圖5c中發(fā)現(xiàn)DFT計算值和ML預測值之間的差異，其中圖5b描述了吸附能作為參考SHAP值的聚類。結(jié)合圖3和5d中的結(jié)果，發(fā)現(xiàn)頂部位置具有最高的吸附能。同時發(fā)現(xiàn)，MAE超過1.0eV的數(shù)據(jù)僅占訓練集的4.3%，所占比例相對較小。為了解決這一問題，本文接下來在弱吸附強度范圍內(nèi)增加采樣。

圖5 使用UMAP方法和CatBoost模型進行2D降維可視化的分析

監(jiān)督聚類用于識別具有較高偏差點的內(nèi)部相關性，即作為異常檢測技術(shù)。因此，本文采用監(jiān)督聚類分析周圍局部環(huán)境描述符的影響，通過此方法將本文數(shù)據(jù)庫中的總數(shù)從17343減少到13894，同時CatBoost模型的準確度顯著增加。其中，CatBoost表現(xiàn)出最高的魯棒性，但XGBoost和LightGBM模型顯示出相似的結(jié)果，如表3和表4所示。

表3 不同ML模型的準確率和標準差

表4 不同ML模型在訓練集和測試集上的評價指標

如圖6a所示，預測模型內(nèi)的離散度降低。同時，如圖6b所示，每個特征對預測模型的影響都在減弱，發(fā)現(xiàn)與吸附質(zhì)直接結(jié)合的表面原子數(shù)描述符有較高影響，表面的d軌道電荷和吸附質(zhì)上的s軌道電荷起著至關重要的作用，隨后本文使用原始歸一化數(shù)據(jù)可以觀察到聚類之間更好的分離（圖6c）?；赟HAP值的聚類（圖6d）表明，從數(shù)據(jù)集中刪除頂點可以減少特征之間的干擾，有助于降低過擬合。

圖6 基于ML的CatBoost方法模型從數(shù)據(jù)庫中提取頂點的性能

本文通過評估所提出的特征對每個聚類的影響，進一步降低預測模型中特征之間的過擬合。在本文的模型中，影響聚類最大的特征是吸附質(zhì)的類型，吸附質(zhì)的HOMO能量值用于識別每個吸附質(zhì)（如圖7a）。此外，整體結(jié)構(gòu)受吸附質(zhì)中氫鍵數(shù)量（“H_ads”）的影響，如圖7b所示。不含氫的吸附質(zhì)彼此接近，具有全局相似性，具有相似的吸附行為（如C、N、S、O）。此外，d軌道電荷與吸附位點處表面原子的平均原子半徑直接相關（圖7c），當吸附位點的平均原子半徑約為2?時，d軌道電荷（“d_charge_surf”）的值最低。對比圖7d和6d，當“d_charge_surf”減小時，吸附能略有增加。同時，這表明當平均原子半徑較高時，鍵合相互作用增強，與C相關的聚類呈現(xiàn)出與S相同的趨勢。

圖7 使用CatBoost模型對SHAP值進行2D降維可視化

Usuga A F, Praveen C S, Comas-Vives A. Local descriptors-based machine learning model refined by cluster analysis for accurately predicting adsorption energies on bimetallic alloys[J]. Journal of Materials Chemistry A, 2024.

https://doi.org/10.1039/D3TA06316J