編輯 |?紫羅

深度機(jī)器學(xué)習(xí)在 AI 的各個(gè)領(lǐng)域取得了顯著的成功，但同時(shí)實(shí)現(xiàn)高可解釋性和高效率仍然是一個(gè)嚴(yán)峻的挑戰(zhàn)。

張量網(wǎng)絡(luò)（Tensor Network，TN）是一種源自量子力學(xué)的成熟數(shù)學(xué)工具，在開發(fā)高效的「白盒」機(jī)器學(xué)習(xí)方案方面顯示出了其獨(dú)特的優(yōu)勢(shì)。

近日，首都師范大學(xué)的冉仕舉和中國科學(xué)院大學(xué)的蘇剛從量子力學(xué)中汲取靈感，綜述了一種基于 TN 的創(chuàng)新方法，為協(xié)調(diào)深度機(jī)器學(xué)習(xí)的可解釋性和效率這一長(zhǎng)期挑戰(zhàn)提供了一個(gè)有前景的解決方案。

一方面，TN ML 的可解釋性可以通過基于量子信息和多體物理的堅(jiān)實(shí)理論基礎(chǔ)來實(shí)現(xiàn)。另一方面，強(qiáng)大的 TN 表示和量子多體物理中開發(fā)的先進(jìn)計(jì)算技術(shù)可以獲得高效率。隨著量子計(jì)算機(jī)的快速發(fā)展，TN 有望在不久的將來朝著「量子 AI」的方向產(chǎn)生可在量子硬件上運(yùn)行的新穎方案。

該綜述以《Tensor Networks for Interpretable and Efficient Quantum-Inspired Machine Learning》為題，于 2023 年 11 月 17 日發(fā)表在《Intelligent Computing》上。

深度機(jī)器學(xué)習(xí)（ML）模型，尤其是神經(jīng)網(wǎng)絡(luò)模型，通常被認(rèn)為是「黑匣子」，因?yàn)樗鼈兊臎Q策過程復(fù)雜且難以解釋。神經(jīng)網(wǎng)絡(luò)是當(dāng)今最強(qiáng)大的 ML 模型。展示其強(qiáng)大功能的一個(gè)典型例子是 GPT。然而，由于缺乏可解釋性，即使是 GPT 也面臨著穩(wěn)健性和隱私保護(hù)等嚴(yán)重問題。

這些模型缺乏可解釋性可能導(dǎo)致人們對(duì)其預(yù)測(cè)和決策缺乏信任，從而限制了它們?cè)谥匾I(lǐng)域的應(yīng)用。

基于量子信息和多體物理的張量網(wǎng)絡(luò)為 ML 提供了「白盒」方法。研究人員表示：「張量網(wǎng)絡(luò)在將量子概念、理論和方法與 ML 聯(lián)系起來以及有效實(shí)現(xiàn)基于張量網(wǎng)絡(luò)的 ML 方面發(fā)揮著至關(guān)重要的作用。」

TN：來自量子物理學(xué)的強(qiáng)大「白盒」數(shù)學(xué)工具

隨著經(jīng)典計(jì)算和量子計(jì)算的快速發(fā)展，TN 為克服可解釋性和效率之間的困境提供了新的思路。TN 被定義為多個(gè)張量的收縮。它的網(wǎng)絡(luò)結(jié)構(gòu)決定了張量收縮的方式。

圖 1 顯示了 3 種類型的 TN 的圖解表示，即矩陣乘積態(tài)（MPS）表示、樹 TN，以及投影糾纏對(duì)態(tài)（PEPS）表示。

TN 作為大規(guī)模量子系統(tǒng)狀態(tài)的有效表示，在量子力學(xué)領(lǐng)域取得了顯著的成功。在 TN 理論中，滿足糾纏熵面積定律的狀態(tài)可以通過具有有限鍵維數(shù)的 TN 表示來有效地近似。

基于 MPS 的算法，包括密度矩陣重整化組和時(shí)間演化塊抽取 ，在模擬糾纏熵時(shí)表現(xiàn)出顯著的效率。此外，MPS 還可以表示許多廣泛應(yīng)用于量子信息處理和計(jì)算中的人工構(gòu)造的狀態(tài)，例如 Greenberger–Horne–Zeilinger 狀態(tài)和 W狀態(tài)。

PEPS 表示被提出遵守二維及更高維度的面積定律，并在高維量子系統(tǒng)的研究中取得了巨大的成功?？傊?，糾纏熵的面積定律為模擬量子系統(tǒng)的 TN 的表示或計(jì)算能力提供了內(nèi)在的解釋。此類解釋也適用于 TN ML。此外，代表量子態(tài)的 TN 可以通過玻恩的量子概率解釋（也稱為玻恩規(guī)則）來解釋。因此，TN 被視為一種「白盒」數(shù)值工具（Born 機(jī)器），類似于 ML 的（經(jīng)典）概率模型。

受量子啟發(fā) ML 的 TN

憑借完善的理論和有效的方法，TN 為解決機(jī)器學(xué)習(xí)中可解釋性和效率之間的困境提供了一條新的途徑。為此，有兩條相互糾纏的研究路線正在爭(zhēng)論中：

1. 量子理論如何作為 TN ML 可解釋性的數(shù)學(xué)基礎(chǔ)？

2. 量子力學(xué) TN 方法和量子計(jì)算技術(shù)如何產(chǎn)生高效的T N ML 方案？

下表中總結(jié)了下面提到的 TN ML 的主要方法以及它們與效率和可解釋性的關(guān)系。

用于增強(qiáng)經(jīng)典 ML 的 TN

作為一種基本的數(shù)學(xué)工具，神經(jīng)網(wǎng)絡(luò)在 ML 中的應(yīng)用并不局限于那些遵循量子概率解釋的應(yīng)用。鑒于 TN 可用于有效地表示和模擬經(jīng)典隨機(jī)系統(tǒng)的配分函數(shù)，如 Ising 和 Potts 模型，TN 與玻爾茲曼機(jī)之間的關(guān)系已被廣泛研究。

TN 還被用來增強(qiáng) NN 并開發(fā)新穎的 ML 模型，忽略任何概率解釋。

基于同樣的基礎(chǔ)，模型壓縮方法被提出來將 NN 的變分參數(shù)分解為 TN 或直接將變分參數(shù)表示為 TN。后者可能不需要顯式分解過程，其中神經(jīng)網(wǎng)絡(luò)的參數(shù)不會(huì)恢復(fù)為張量，而是直接恢復(fù)為 TT 形式 、矩陣乘積算子或深度 TN。非線性激活函數(shù)已添加到 TN 中，以提高其 ML 性能，將 TN 從多線性模型推廣到非線性模型。

結(jié)論

解決 AI（尤其是深度 ML）效率和可解釋性之間困境的方法長(zhǎng)期以來一直受到人們的關(guān)注。在此，回顧了 TN 在可解釋且高效的量子啟發(fā) ML 方面取得的鼓舞人心的進(jìn)展。

圖 3 中的「N ML butterfly」列出了 TN 在 ML 方面的優(yōu)勢(shì)。對(duì)于量子啟發(fā)的 ML，TN 的優(yōu)勢(shì)可以從兩個(gè)關(guān)鍵方面來總結(jié)：用于可解釋性的量子理論和用于提高效率的量子方法。一方面，TN 使我們能夠應(yīng)用統(tǒng)計(jì)學(xué)和量子理論（例如糾纏理論）來構(gòu)建可解釋性的概率框架，這可能超出經(jīng)典信息或統(tǒng)計(jì)理論的描述。另一方面，強(qiáng)大的量子力學(xué) TN 算法和大幅增強(qiáng)的量子計(jì)算技術(shù)將使量子啟發(fā)的 TN ML 方法在經(jīng)典和量子計(jì)算平臺(tái)上都具有高效率。

特別是，隨著最近在 GPT 方面取得的顯著進(jìn)展，模型復(fù)雜性和計(jì)算能力出現(xiàn)了前所未有的激增，為 TN ML 帶來了新的機(jī)遇和挑戰(zhàn)。當(dāng)面對(duì) GPT 的新興 AI 時(shí)，可解釋性將變得越來越有價(jià)值，不僅可以提高研究效率，而且可以更好地使用和更安全的控制。

在當(dāng)前的 NISQ 時(shí)代和即將到來的真正的量子計(jì)算時(shí)代，TN 正迅速成長(zhǎng)為從理論、模型、算法、軟件、硬件和應(yīng)用等角度探索量子 AI 的重要數(shù)學(xué)工具。