Nature：AI 引導人類直覺，幫助發現數學定理

來源：集智俱樂部

作者：Alex Davies, Petar Veličković, Lars Buesing等

譯者：趙雨亭

審校：潘佳棟

編輯：鄧一雪

導語
我們通常認為，數學家的世界充滿了直覺和想象力，他們發現模型、提出猜想、證明定理；而計算機隻不過是擅長機械的計算。但能夠從大量數據中學習的 AI，是否能夠像數學家一樣，從數據中發現模式？是否可以輔助數學家做出新發現呢？12月1日，DeepMind 團隊在 Nature 雜志上發表的一項最新研究中，人們成功讓 AI 與人類數學家進行了合作，利用機器學習從大規模數據中探測模式，然後數學家嘗試據此提出猜想，精确表述猜想并給出嚴格證明。他們解決了純數學領域的兩個問題：得到了紐結理論中代數和幾何不變量之間的關系，提出了表示論中組合不變性猜想的可能證明方法。這次成功意味着未來機器學習可能會被引入數學家的工作中，AI 和數學家之間将展開更深入的合作。有數學家認為，這就像是伽利略有了望遠鏡，能夠凝視數據宇宙的深處，看到之前從未探測到的東西。以下是這篇論文的翻譯。
研究領域：人工智能，機器學習，紐結理論，表示論

論文題目：

Advancing mathematics by guiding human intuition with AI

論文鍊接： https://www.nature.com/articles/s41586-021-04086-x

1. 摘要

數學的實踐包括發現模型、使用它們來提出和證明猜想，得出定理。自 19 世紀 60 年代以來，數學家一直使用計算機來協助構建模型和提出猜想[1] ，最著名的是貝赫和斯維讷通-戴爾猜想 （the Birch and Swinnerton-Dyer conjecture） [2] ，這是一個千禧年大獎難題[3] 。在這裡，我們給出了在機器學習的幫助下發現基礎數學新基本結果的例子，展示了機器學習可以幫助數學家發現新猜想和定理。我們提出了一個使用機器學習的過程來發現數學對象之間的潛在模式和關系，通過歸因技術 （attribution techniques） 理解它們，并使用這些觀察來指導直覺和提出猜想。我們概述了機器學習引導提出數學定理的框架，并展示了它在基礎數學中不同領域的當前研究問題中的成功應用，在每種情況下都展示了它如何對重要的開放問題做出有意義的數學貢獻：代數和幾何結構之間的新聯系，以及由對稱群的組合不變性猜想預測的候選算法[4]。我們的工作可以作為數學和人工智能 (AI) 領域之間合作的模型，通過利用數學家和機器學習各自的優勢，可以取得令人驚訝的成就。

2.引入

數學進步的核心驅動力之一是發現模型和形成有用的猜想 （被猜測為真但尚未被證明在所有情況下都成立的陳述） 。數學家一直使用數據來輔助這個過程——從高斯和其他人使用的早期手工計算的素數表引導素數定理的發現[5]，到現代計算機生成的數據[1,5]，例如證明貝赫和斯維讷通-戴爾猜想[2]時的情況。用于生成數據和測試猜想的計算機的引入使數學家對以前無法解決的問題有了新的理解[6]。雖然計算機技術在過程的其他部分是有用的 [7,8] ，但是人工智能(AI)系統還沒有取得類似的地位。先前用于生成猜想的系統要麼通過不容易推廣到其他數學領域的方法[9]貢獻了真正有用的研究猜想[10] ，要麼已經展示了新的、通用的方法來尋找尚未産生數學價值的猜想[11]。 人工智能，尤其是機器學習領域[12-14]，提供了一系列可以有效檢測數據模式的技術，并且越來越多地證明其在科學學科中的實用性[15]。在數學中，我們已經表明人工智能可以作為一種有價值的工具，通過尋找現有猜想的反例[16]、加速計算[17]、生成符号解[18]和檢測數學對象中結構的存在[19]。在這項工作中，我們證明人工智能也可用于協助發現數學研究前沿的定理和猜想。通過專注于使數學家能夠理解機器學習得到的函數并獲得有用的數學洞察力，人工智能擴展了可以使用監督學習來發現模型[20-24]的工作。我們提出了一個框架，用來使用機器學習的強大模式識别能力和解釋方法來增強标準數學工具包，并通過展示它如何引導我們獲得兩個基本的新發現——一個是拓撲學，另一個是表示論——來證明它的價值和普遍性。我們的貢獻展示了成熟的機器學習方法如何适應并集成到現有的數學工作流程中以獲得新穎的結果。

3. 使用AI引導數學直覺

數學家的直覺在數學發現中起着極其重要的作用——“隻有将嚴謹的形式主義和良好的直覺結合起來，才能解決複雜的數學問題”[25]。下面的框架 （如圖1所示） 描述了一種通用方法，通過該方法，數學家可以使用機器學習中的工具來指導他們對複雜數學對象的直覺，驗證他們關于關系可能存在的假設并幫助理解這些關系。我們認為，這是一種自然且富有成效的方式，可以将統計學和機器學習中這些廣為人知的技術做為數學家工作的一部分。

圖1. 框架流程圖。通過訓練機器學習模型來估計特定數據P(Z)分布上的函數，該過程有助于引導數學家對猜想的函數f的直覺。來自學習函數

的準确性的見解和應用于它的歸因技術，可以幫助理解問題和構建封閉形式的 f′。該過程是叠代和交互的，而不是一系列的順序執行的步驟。

具體而言，它可以幫助數學家獲得直覺，了解由 z 聯系起來的兩個數學對象 X(z) 和Y(z) 之間的關系，該過程通過找到滿足

的學習函數

，并分析它以了解這種關系的性質。舉個例子：設 z 是凸多面體，

是 z 的頂點和邊的數量，以及體積和表面積，Y(z)∈ℤ 是 z 的面。歐拉公式表明，在這種情況下，X(z)和Y(z)之間存在精确的關系：X(z)·(−1, 1, 0, 0)+2=Y(z)。* 在這個簡單的例子中，使用許多其他方法，都可以通過數據驅動猜想生成的傳統方法重新發現這種關系[1]。然而，對于高維空間中的X(z)和Y(z)，或更複雜的數據，例如圖，以及更複雜的非線性的

，這種方法要麼不太管用，要麼完全不可行。 *注：例如，我們常見的歐拉公式形式為F-E+V=2，即 -V+E+2=F，V、E、F分别表示頂點、邊、面的數量。
該框架以兩種方式幫助引導數學家的直覺：（1）通過使用監督機器學習驗證數學對象猜想的結構/模式存在；（2）使用歸因技術幫助理解這些模式。 在監督學習階段，數學家猜測 X(z) 和Y(z)之間存在關系。通過生成X(z)和Y(z)的數據集，我們可以使用監督學習，僅使用X(z)作為輸入來訓練預測Y(z)的函數

。機器學習在這個回歸過程中的關鍵貢獻是，在給定足夠數量數據的情況下可以學習廣泛的可能的非線性函數。如果

給出的結果偶然比預期的結果更準确，則表明可能存在這樣的關系需要探索。如果是這樣，歸因技術可以幫助理解學習函數

，這足以讓數學家猜測候選函數f'。歸因技術可用于了解

的哪些方面與Y(z)的預測相關。例如，許多歸因技術旨在量化函數

對X(z)的哪個分量敏感。我們在工作中使用的歸因技術——梯度顯著性 （Gradient Saliency） ，是通過計算

的輸出關于輸入的導數來實現的。這允許數學家識别問題中最有可能與X(z)和Y(z)關系相關的方面，并對其進行優先級排序。在解決一個可行的猜想之前，這個叠代過程可能需要重複幾次。在這個過程中，數學家可以指導猜想的選擇，這些猜想不僅能拟合數據，而且看起來很有趣，似乎是真實的。在理想情況下，這個過程暗示了證明策略。 從概念上講，這個框架提供了一個“直覺試驗台”——快速驗證我們關于兩個量之間關系的直覺是否值得追求。如果是，該框架可以指導兩個量之間如何相關。我們已經使用上述框架幫助數學家在兩種情況下獲得了有影響力的數學結果——發現和證明了紐結理論中代數和幾何不變量之間的關系，并推測出對稱群組合不變性猜想的證明方案[4] ，這是表示論中的一個著名猜想。在每個領域，我們都展示了該框架如何成功地幫助指導數學家得到結果。在每種情況下，都可以使用具有單個圖形處理單元 （GPU） 的機器，在幾個小時内訓練必要的模型。

4. 拓撲學：

紐結理論中代數與幾何不變量的關系

低維拓撲是數學中一個活躍且有影響的領域。紐結是R3空間中的簡單閉合曲線，是研究的重點對象之一。課題的一些主要目标是對它們進行分類，了解它們的特性并建立與其他領域的聯系。實現這一點的主要方法之一是通過不變量，即對于任何兩個等價紐結都相同的代數、幾何或數值量。這些不變量以許多不同的方式推導出來，但我們關注兩個主要類别：雙曲不變量和代數不變量。這兩種類型的不變量源自完全不同的數學領域，因此在它們之間建立聯系非常有趣。圖2顯示了紐結不變量的一些例子。推測連接的一個顯著例子是體積猜想 （volume conjecture） [26]，該猜想提出，紐結的雙曲體積 （幾何不變量） 應該編碼在着色瓊斯多項式 （coloured Jones polynomials）（代數不變量） 的漸進行為中。

圖2. 三個雙曲紐結的不變量示例。我們假設幾何和代數不變量之間存在先前未發現的關系。

我們的假設是，紐結的雙曲不變量和代數不變量之間存在一種未被發現的關系。監督學習模型能夠檢測，很多幾何不變量和符号差σ(K) （signature） 之間存在一種模式，這裡的符号差可編碼關于紐結K的重要信息，但之前人們并不知道它與雙曲幾何有關。如圖3a所示，歸因技術确定的最相關的特征是尖形幾何 （cusp geometry） 的三個不變量，圖3b中部分地顯示了這種關系。使用僅由這些測量值組成的X(z)訓練第二個模型實現了非常相似的準确度，這表明它們是一組足夠的特征，可以捕獲幾何不變量對符号差的幾乎所有影響。這三個不變量是橫向平移μ和縱向平移λ的實部和虛部。這些量與符号差之間存在非線性的多元關系。在被引導關注這些不變量後，我們發現，通過使用一個與符号差線性相關的新數學量，可以更好地理解這種關系。

圖3. 扭結理論歸因。a. 每個輸入X(z)的屬性值。具有高值的特征是那些學習函數最敏感的特征，并且可能與進一步探索相關。95% 置信區間誤差線跨越模型的 10 次重新訓練。b. 相關特征的示例可視化——經向平移相對于符号差的實部，由縱向平移着色。

我們引入了“自然斜率” （natural slope） ，定義為 slope(K)=Re(λ/μ)，其中Re表示實部。它有以下幾何解釋：可以将經線實現為歐幾裡得環面上的測地線γ。如果給出正交的測地線γ⊥，它最終會返回并與γ 交于某點。這樣做時，它将沿着經度減去緯度的倍數行進，這個倍數就是自然斜率。它不必是整數，因為 γ⊥的端點可能與其起點不同。我們最初關于自然斜率和特征的猜想如下。 猜想： 存在常數c1和c2，使得對于每個雙曲扭結K，

雖然這一猜想得到了對從不同分布采樣的幾個大型數據集的分析的支持，但我們能夠使用特定形式的編織 （braiding） 構建反例。随後，我們建立斜率 slope(K)、符号差 σ(K)、體積 vol(K) 和第二個最顯著的幾何不變量——注入半徑 （injectivity radius） inj(K)之間的關系[27]。 定理： 存在一個常數c使得對于任何雙曲扭結K，

事實證明，注入半徑往往不會變得非常小，即使對于大體積的紐結也是如此。因此，inj(K)-3這一項在測試中往往不會變得非常大。但是顯然需要有一個定理來避免對 inj(K)-3的依賴，我們給出的結果依賴于短測地線，這是補充信息中的另一個顯著特征。上述定理的更多細節和完整證明可在參考文獻[27]中找到。在我們生成的數據集中，可以設置c ≥0.23392的下限，推測c最大在0.3是合理的，這在我們計算的區域中給出了緊密的關系。 上述定理是連接紐結的代數和幾何不變量的結果之一，它具有各種有趣的應用。它直接暗示符号差控制紐結上的非雙曲 Dehn 手術 （Dehn surgery） ，自然斜率控制

空間表面的虧格，

空間的邊界為扭結。我們預計新發現的自然斜率和特征之間的關系将在低維拓撲中具有許多其他應用。令人驚訝的是，在一個已被廣泛研究的領域中，這種簡單而深刻的聯系卻被忽視了。

5. 表示論：對稱群組合不變性猜想

表示論是線性對稱的理論。所有表示的組成單元都是不可約的，理解它們是表示論最重要的目标之一。不可約表示概括了傅立葉分析的基本頻率[28] 。在幾個重要的例子中，不可約表示的結構由 Kazhdan-Lusztig （KL） 多項式控制，這些多項式與組合學、代數幾何和奇點理論有着深厚的聯系。KL多項式是附加到對稱群中的元素對 （或者更一般地說，Coxeter群中的元素對） 的多項式。組合不變性猜想 （combinatorial invariance conjecture） 是關于KL多項式的一個引人入勝的開放猜想，它已經存在 40 年，其證明僅取得了部分進展[29]。它指出，對稱群SN中兩個元素的 KL 多項式可以從它們未标記的 Bruhat 區間 [30] （一個有向圖） 中計算出來。理解這些對象之間關系的一個障礙是，非平凡KL多項式 （不等于1的那些） 的 Bruhat 區間是非常大的圖，很難建立直覺。圖4顯示了一些小的Bruhat區間及其 KL 多項式的例子。

圖4. 兩個示例數據集元素，一個來自S5，一個來自S6。組合不變性猜想指出，一對置換的KL多項式應該可以從它們未标記的Bruhat區間計算出來，但是此前人們并不知道計算的函數。

注：Bruhat 區間是一種圖，表示一次隻交換兩個對象，讓集合中的對象逆轉順序的所有不同方式。KL多項式告訴數學家關于這個圖在高維空間中存在的不同方式的一些深刻而微妙的性質。隻有當 Bruhat 區間有100或1000個頂點時，才會出現有趣的結構。
我們将此猜想作為初始假設，并發現監督學習模型能夠以相當高的準确度從Bruhat區間預測KL多項式。通過對我們将Bruhat區間輸入網絡的方式進行實驗，很明顯，某些圖和特征的選擇特别有助于準确預測。特别是，我們發現一個受先前工作[31]啟發的子圖可能足以計算 KL多項式，這得到了一個更準确的估計函數的支持。 通過計算歸因技術确定為最相關的顯著子圖，并分析這些圖相比于初始圖的邊緣分布，我們發現了進一步的結構證據。在圖5a中，我們通過它們表示的反射 （reflection，歐氏空間中把一個物體變換成它的鏡像的映射） 來彙總顯著子圖中邊緣的相對頻率。它表明極值反射 （extremal reflection） ，對于SN中 （形式為(0, i) 或 (i, N−1)的那些） 在顯著子圖中比人們預期的更常見，代價是簡單的反射 （形式為 (i, i+ 1)) ，這在圖5b中模型的多次重新訓練中得到證實。這是值得注意的，因為邊緣标簽沒有被提供給網絡，并且無法從未标記的Bruhat區間中恢複。從KL多項式的定義可以直觀看出，簡單反射和非簡單反射的區别與計算它有關；然而，最初并不能明顯看出，極值反射會在顯著子圖中過多表示。考慮到這一觀察結果，我們發現一個區間可以自然分解為兩部分——由一組極值邊緣誘導的超立方體，和與一個與 SN-1 中的區間同構的圖。

圖 5. 表示論歸因。a. 在預測q4時，與數據集中跨區間的平均值相比，顯著子圖中存在的反射增加百分比的示例熱圖。b. 與來自數據集的10個相同大小的自舉樣本相比，模型的10次再訓練在顯著子圖中觀察到的每種類型的邊緣的百分比。誤差線是95%的置信區間，顯示的顯著性水平是使用雙側雙樣本t檢驗确定的。*p < 0.05；****p < 0.0001。c，通過假設、監督學習和歸因的叠代過程發現的有趣子結構的區間021435–240513∈S6的說明。受先前工作[31]啟發的子圖以紅色突出顯示，超立方體以綠色突出顯示，分解成分與SN-1中的區間同構以藍色突出顯示。

這兩種結構的重要性，如圖5c所示，證明了KL多項式可以通過補充信息中總結的漂亮公式直接從超立方體和SN-1成分中計算。數學結果的進一步詳細處理在參考文獻[32]中給出。 定理： 每個Bruhat區間都允許沿其極值反射進行典型超立方體分解，從中可以直接計算KL多項式。 值得注意的是，進一步的測試表明所有的超立方體分解都正确地确定了KL多項式。對于直到S7的對稱群中的所有大約3×106個區間和從對稱群S8和S9采樣的超過1.3×105的非同構區間，都可以進行計算驗證。 猜想： 無标記的Bruhat區間的KL多項式可以用前面的公式計算出任何超立方體分解來得到。 這個猜想的解決方案，如果被證明是正确的，将解決對稱群的組合不變性猜想。這是一個很有前景的方向，因為該猜想不僅在相當多的例子中得到了經驗驗證，而且還有一個特别好的形式，可以提出攻破該猜想的潛在途徑。這個案例展示了如何從訓練的模型中獲得關于大型數學對象行為的非微觀見解，從而發現新的結構。

6. 結論

在這項工作中，我們展示了一個數學家使用機器學習的框架，該框架導緻了兩個不同學科的數學洞察力：紐結的代數和幾何結構之間的第一個聯系，以及對表示論中一個長期未決猜想的可能證明方案。我們不是使用機器學習直接生成猜想，而是專注于幫助指導數學家高度專業的直覺，産生既有趣又深刻的結果。很明顯，直覺在許多人類追求的精英表現中起着重要作用。例如，它對頂級圍棋玩家至關重要，而AlphaGo[33]的成功部分來自于它使用機器學習來學習人類憑直覺執行的遊戲元素的能力。它對頂級數學家也至關重要——拉馬努金被稱為直覺之王 [34]，可以激發著名數學家對其在各自領域中的地位的反思 [35,36]。由于數學是一項與圍棋截然不同、更具合作性的工作，人工智能在輔助直覺方面的作用要自然得多。在這裡，我們表明在協助數學家進行這方面的工作方面，确實存在富有成效的空間。 我們的案例研究表明，在一個被充分研究的、數學上有趣的領域中，一個基礎性的聯系是如何被忽視的，以及這個框架如何讓數學家更好地理解那些大到他們無法觀察到的物體的行為模式。這個框架在哪些方面有用是有限制的——它需要有能力生成對象表示的大型數據集，并且在可計算的例子中可以發現模型。此外，在某些領域中，感興趣的功能可能難以在這種範式下學習。然而，我們相信有許多領域可以從該方法中受益。更廣泛地說，我們希望這個框架是一種有效的機制，允許将機器學習引入數學家的工作，并鼓勵兩個領域之間的進一步合作。

參考文獻

1. Borwein, J. & Bailey, D. Mathematics by Experiment (CRC, 2008). 2. Birch, B. J. & Swinnerton-Dyer, H. P. F. Notes on elliptic curves. II. J. Reine Angew. Math.1965, 79–108 (1965). 3. Carlson, J. et al. The Millennium Prize Problems (American Mathematical Soc., 2006). 4. Brenti, F. Kazhdan-Lusztig polynomials: history, problems, and combinatorial invariance. Sémin. Lothar. Combin. 49, B49b (2002). 5. Hoche, R. Nicomachi Geraseni Pythagorei Introductions Arithmeticae Libri 2 (In aedibus BG Teubneri, 1866). 6. Khovanov, M. Patterns in knot cohomology, I. Exp. Math. 12, 365–374 (2003). 7. Appel, K. I. & Haken, W. Every Planar Map Is Four Colorable Vol. 98 (American Mathematical Soc., 1989). 8. Scholze, P. Half a year of the Liquid Tensor Experiment: amazing developments Xena https://xenaproject.wordpress.com/2021/06/05/half-a-year-of- the-liquid-tensor- experiment-amazing-developments/ (2021). 9. Fajtlowicz, S. in Annals of Discrete Mathematics Vol. 38 113–118 (Elsevier, 1988). 10. Larson, C. E. in DIMACS Series in Discrete Mathematics and Theoretical Computer Science Vol. 69 (eds Fajtlowicz, S. et al.) 297–318 (AMS & DIMACS, 2005). 11. Raayoni, G. et al. Generating conjectures on fundamental constants with the Ramanujan machine. Nature 590, 67–73 (2021). 12. MacKay, D. J. C. Information Theory, Inference and Learning Algorithms (Cambridge Univ. Press, 2003). 13. Bishop, C. M. Pattern Recognition and Machine Learning (Springer, 2006). 14. LeCun, Y., Bengio, Y. & Hinton, G. Deep learning. Nature 521, 436–444 (2015). 15. Raghu, M. & Schmidt, E. A survey of deep learning for scientific discovery. Preprint athttps://arxiv.org/abs/2003.11755(2020). 16. Wagner, A. Z. Constructions in combinatorics via neural networks. Preprint athttps://arxiv.org/abs/2104.14516(2021). 17. Peifer, D., Stillman, M. & Halpern-Leistner, D. Learning selection strategies in Buchberger’s algorithm. Preprint athttps://arxiv.org/abs/2005.01917 (2020). 18. Lample, G. & Charton, F. Deep learning for symbolic mathematics. Preprint athttps://arxiv.org/abs/1912.01412(2019). 19. He, Y.-H. Machine-learning mathematical structures. Preprint athttps://arxiv.org/abs/2101.06317(2021). 20. Carifio, J., Halverson, J., Krioukov, D. & Nelson, B. D. Machine learning in the string landscape. J. High Energy Phys. 2017, 157 (2017). 21. Heal, K., Kulkarni, A. & Sertöz, E. C. Deep learning Gauss-Manin connections. Preprint athttps://arxiv.org/abs/2007.13786(2020). 22. Hughes, M. C. A neural network approach to predicting and computing knot invariants. Preprint athttps://arxiv.org/abs/1610.05744(2016). 23. Levitt, J. S. F., Hajij, M. & Sazdanovic, R. Big data approaches to knot theory: understanding the structure of the Jones polynomial. Preprint at https://arxiv.org/abs/1912.10086(2019). 24. Jejjala, V., Kar, A. & Parrikar, O. Deep learning the hyperbolic volume of a knot. Phys. Lett. B 799, 135033 (2019). 25. Tao, T. There’s more to mathematics than rigour and proofs Bloghttps://terrytao.wordpress.com/career-advice/theres-more-to-mathematics-than- rigour-and-proofs/ (2016). 26. Kashaev, R. M. The hyperbolic volume of knots from the quantum dilogarithm. Lett. Math. Phys. 39, 269–275 (1997). 27. Davies, A., Lackenby, M., Juhasz, A. & Tomašev, N. The signature and cusp geometry of hyperbolic knots. Preprint at arxiv.org (in the press). 28. Curtis, C. W. & Reiner, I. Representation Theory of Finite Groups and Associative Algebras Vol. 356 (American Mathematical Soc., 1966). 29. Brenti, F., Caselli, F. & Marietti, M. Special matchings and Kazhdan–Lusztig polynomials. Adv. Math. 202, 555–601 (2006). 30. Verma, D.-N. Structure of certain induced representations of complex semisimple Lie algebras. Bull. Am. Math. Soc. 74 , 160–166 (1968). 31. Braden, T. & MacPherson, R. From moment graphs to intersection cohomology. Math. Ann. 321, 533–551 (2001). 32. Blundell, C., Buesing, L., Davies, A., Veličković, P. & Williamson, G. Towards combinatorial invariance for Kazhdan-Lusztig polynomials. Preprint at arxiv.org (in the press). 33. Silver, D. et al. Mastering the game of Go with deep neural networks and tree search. Nature 529, 484–489 (2016). 34. Kanigel, R. The Man Who Knew Infinity: a Life of the Genius Ramanujan (Simon and Schuster, 2016). 35. Poincaré, H. The Value of Science: Essential Writings of Henri Poincaré (Modern Library, 1907). 36. Hadamard, J. The Mathematician’s Mind (Princeton Univ. Press, 1997). 37. Bronstein, M. M., Bruna, J., Cohen, T. & Veličković, P. Geometric deep learning: grids, groups, graphs, geodesics, and gauges. Preprint athttps://arxiv.org/abs/2104.13478(2021). 38. Efroymson, M. A. in Mathematical Methods for Digital Computers 191–203 (John Wiley, 1960). 39. Xu, K. et al. Show, attend and tell: neural image caption generation with visual attention. In Proc. International Conference on Machine Learning 2048–2057 (PMLR, 2015). 40. Sundararajan, M., Taly, A. & Yan, Q. Axiomatic attribution for deep networks. In Proc. International Conference on Machine Learning 3319–3328 (PMLR, 2017). 41. Bradbury, J. et al. JAX: composable transformations of Python+NumPy programs (2018);https://github.com/google/jax 42. Martín A. B. A. D. I. et al. TensorFlow: large-scale machine learning on heterogeneous systems (2015);https://doi.org/10.5281/zenodo.4724125. 43. Paszke, A. et al. in Advances in Neural Information Processing Systems 32 (eds Wallach, H. et al.) 8024–8035 (Curran Associates, 2019). 44. Thurston, W. P. Three dimensional manifolds, Kleinian groups and hyperbolic geometry. Bull. Am. Math. Soc 6, 357–381 (1982). 45. Culler, M., Dunfield, N. M., Goerner, M. & Weeks, J. R. SnapPy, a computer program for studying the geometry and topology of 3-manifolds (2020);http://snappy.computop.org. 46. Burton, B. A. The next 350 million knots. In Proc. 36th International Symposium on Computational Geometry (SoCG 2020) (Schloss Dagstuhl-Leibniz-Zentrum für Informatik, 2020). 47. Warrington, G. S. Equivalence classes for the μ-coefficient of Kazhdan–Lusztig polynomials in Sn. Exp. Math. 20, 457–466 (2011). 48. Gilmer, J., Schoenholz, S. S., Riley, P. F., Vinyals, O. & Dahl, G. E. Neural message passing for quantum chemistry. Preprint athttps://arxiv.org/abs/1704.01212(2017). 49. Veličković, P., Ying, R., Padovano, M., Hadsell, R. & Blundell, C. Neural execution of graph algorithms. Preprint athttps://arxiv.org/abs/1910.10593(2019).

（參考文獻可上下滑動查看）

未來智能實驗室的主要工作包括：建立AI智能系統智商評測體系，開展世界人工智能智商評測；開展互聯網（城市）大腦研究計劃，構建互聯網（城市）大腦技術和企業圖譜，為提升企業，行業與城市的智能水平服務。每日推薦範圍未來科技發展趨勢的學習型文章。目前線上平台已收藏上千篇精華前沿科技文章和報告。