2022年AI算法十大可能突破方向慧維智能

2022年新年伊始，暢想人工智能算法的未來，除了最主流的深度學習模型之外，還有哪些潛在的突破口？

最近在Reddit 看到列舉了10個方向。千腦理論、自由能原理、Testlin機器、層級實時存儲算法等等，筆者根據其列出的參考路徑，并且補充了來自維基百科、集智百科等相關的介紹内容，将這10個方向做了一個摘要性的内容簡介。

層級實時存儲算法

Hierarchical temporal memory

層級實時存儲算法（HTM）是一種由Numenta開發的生物約束機器智能技術。HTM最初在2004年 Jeff Hawkins 和 Sandra Blakeslee合著的《On Intelligence》一書中有所描述，目前主要用于流數據中的異常檢測。該技術基于神經科學以及哺乳動物（特别是人類）大腦新皮層中錐體神經元的生理學和相互作用。

HTM 的核心是學習算法，它可以存儲、學習、推斷和調用高階序列。與大多數其他機器學習方法不同，HTM不斷學習（在無監督過程中）未标記數據中基于時間的模式。HTM對噪聲具有魯棒性，并且具有高容量（它可以同時學習多種模式）。當應用于計算機時，HTM非常适合預測，異常檢測，分類以及最終的感覺運動應用。

HTM已經通過Numenta的示例應用程序和Numenta合作夥伴的一些商業應用程序在軟件中進行了測試和實施。 （以上翻譯自維基百科）

超維計算

Hyperdimensional Computing

超維計算（HDC）是一種新興的計算方法，受到人腦神經活動模式的啟發。這種獨特的計算類型可以使人工智能系統根據以前遇到的數據或場景保留内存并處理新信息。為了對神經活動模式進行建模，HDC系統使用豐富的代數，該代數定義了一組規則來構建，綁定和捆綁不同的超向量。超向量是具有獨立且分布相同的分量的全息10,000維（僞）随機向量。通過使用這些超向量，HDC可以創建功能強大的計算系統，該系統可用于完成複雜的認知任務，例如對象檢測，語言識别，語音和視頻分類，時間序列分析，文本分類和分析推理。(摘自：一種超維計算系統，可在内存中執行所有核心計算)。這裡是關于超維計算項目的資源集合https://github.com/HyperdimensionalComputing/collection

脈沖神經網絡

Spiking Neural Networks

脈沖神經網絡Spiking neuralnetworks (SNNs)是第三代神經網絡模型，其模拟神經元更加接近實際，除此之外，把時間信息的影響也考慮其中。思路是這樣的，動态神經網絡中的神經元不是在每一次叠代傳播中都被激活（而在典型的多層感知機網絡中卻是），而是在它的膜電位達到某一個特定值才被激活。當一個神經元被激活，它會産生一個信号傳遞給其他神經元，提高或降低其膜電位。

在脈沖神經網絡中，神經元的當前激活水平（被建模成某種微分方程）通常被認為是當前狀态，一個輸入脈沖會使當前這個值升高，持續一段時間，然後逐漸衰退。出現了很多編碼方式把這些輸出脈沖序列解釋為一個實際的數字，這些編碼方式會同時考慮到脈沖頻率和脈沖間隔時間。

（上文摘自：process-z.com，脈沖神經網絡Spiking neural network_張競成的博客-CSDN博客_spiking神經網絡）

這篇文章Spiking Neural Networks（Spiking Neural Networks | Simons Institute for the Theory of Computing），對脈沖神經網絡的研究曆史、主要貢獻者、現狀和問題、相關數據集等作了比較好的梳理。

聯想記憶 / 預測編碼

Associative Memories via Predictive Coding

思路來自這篇論文 Associative Memories via Predictive Coding：https://arxiv.org/abs/2109.08063。聯想記憶模型，是借鑒了人類大腦神經元存儲、關聯以及檢索信息的模式。由于在人類智能中的重要性，聯想記憶的計算模型已經發展了幾十年，包括自動關聯存儲器，允許存儲數據點和檢索存儲的數據點s當提供噪聲或部分變體時s和異質關聯記憶，能夠存儲和調用多模态數據。

在上面的論文中，作者們提出了一種用于實現聯想記憶的新型神經模型，該模型基于通過感覺神經元接收外部刺激的分層生成網絡。該模型使用預測編碼進行訓練，預測編碼是一種基于錯誤(error-based)的學習算法，其靈感來自皮層中的信息處理。

分形人工智能

Ractal AI

分形AI，通過使用類似細胞自動機的結構而不是平滑函數對信息進行建模，它可以衍生出新的數學工具，這些工具構成了一種新的随機演算基礎。

這篇論文（參見：https://github.com/Guillemdb/FractalAI），介紹了一種新代理（分形蒙特卡洛），它源自Ractal AI的第一原理（參見：https://github.com/Guillemdb/FractalAI/blob/master/introduction_to_fai.md），能夠比其他類似技術（如蒙特卡羅樹搜索）更有效地支持OpenAI Gym下的Atari-2600遊戲；此外該論文還宣稱提出了更先進的Swarm Wave實現，也來自分形AI原理，允許人們在環境的完美/信息模型下求解馬爾可夫決策過程。

千腦理論

The Thousand Brains Theory

人類大腦如何工作？千腦智能理論是近年湧現的一個非常有影響力的理論。2021年11月，比爾蓋茨公布了心目中的2021年度5本必讀好書，排第一位的便是《A Thousand Brains: A New Theory of Intelligence》，作者是Jeff Hawkins 。支撐這本書的重要論文，是發表于2018年的A Framework for Intelligence and Cortical Function Based on Grid Cells in the Neocortex（基于新皮層網格細胞的智能和大腦皮層功能框架），千腦理論描述了一個通用的框架，用于理解新皮質的作用及其工作原理，該理論認為，新皮質并不是隻學習了關于世界的一個模型，而是每一部分都學習了一份世界完整的物體與概念模型。然後新皮層中的長程連接允許模型們協同工作，來構建你對世界的整體感知。該論文還預測了一種稱為“移位細胞”（displacement cells）的新型神經元的出現，它與皮質網格細胞相互作用以表示物體相對于彼此的位置。

2021年6月，Jeff Hawkins 曾經出席北京智源大會，發表了題為「The Thousand Brains Theory - A roadmap for creating machine intelligence」的演講，這是關于演講内容的詳細介紹：真正實現與人更類似的智能！Jeff Hawkins：創造機器智能的路線圖

自由能原理

Free energy principle

自由能原理 Free energy principle是一個正式的陳述，它解釋了生物系統和非生物系統如何通過将自己限制在有限的幾個狀态而保持在非平衡穩态。它表明系統最小化了内部狀态的自由能函數，而内部狀态包含了對環境中隐藏狀态的信任。自由能的内隐最小化在形式上與變分貝葉斯方法 Variational Bayesian methods有關，最初由Karl Friston引入，作為神經科學中對具身知覺的解釋，在那裡它也被稱為“主動推理”。

自由能原理解釋了一個給定系統的存在，它通過一個Markov blanket建模，試圖最小化他們的世界模型和他們的感覺和相關知覺之間的差異。這種差異可以被描述為”出其不意” ，并通過不斷修正系統的世界模型來減少這種差異。因此，這個原理是基于貝葉斯的觀點，即大腦是一個“推理機”。弗裡斯頓為最小化增加了第二條路線: 行動。通過積極地将世界改變為預期的狀态，系統也可以使系統的自由能最小化。弗裡斯頓認為這是所有生物反應的原理。弗裡斯頓還認為，他的原則即适用于精神障礙也适用于人工智能。基于主動推理原則的人工智能實現比其他方法顯示出優勢。（摘自集智百科：什麼是自由能原理 | 集智百科 | 集智俱樂部）

自由能原理，是一個公認非常晦澀的概念，下面是基于自由能原理、進行“主動推理”的示例說明：Learn by example: Active Inference in the brain -1 | Kaggle

Tstelin 機器

Tsetlin machine

源自上世紀50年代，前蘇聯數學家Tsetlin提出了可進行學習的自動機，此種類型的自動機可以通過從學習數據中改變自身的狀态轉換函數的概率來對數據進行學習，并可以使用自身的狀态來編碼信息，不同于神經網絡，這種自動機天然的具有對數據進行時序編碼的特性，且具有良好的可解釋性。（摘自：未來智能趨勢：自動機與神經網絡 - 知乎）

但紐卡斯爾大學高級講師Rishad Shafik認為：“學習自動機幾乎不可能在硬件上實現，因為有大量的狀态需要去适應”。挪威阿格德大學的AI教授Ole－Christoffer Granmo，通過将學習自動機與經典的博弈論和布爾代數相結合，找到了一種降低學習自動機複雜性的方法。他将簡化版的學習自動機應用到軟件中，并以該學科創始人的名字将其命名為“Tsetlin機器”（Tsetlin machine）。（摘自：Tsetlin機器和神經網絡之間的功耗差别 - 人工智能 - 電子發燒友網）

這是挪威阿哥德大學Ole-Christoffer Granmo建立的關于Tstelin機器的網站：Home - An Introduction to Tsetlin Machines

上面刊登了他正在撰寫的新書《An Introduction to Tsetlin Machines》，目前可以下載第1章：http://tsetlinmachine.org/wp-content/uploads/2021/09/Tsetlin_Machine_Book_Chapter_1-4.pdf

雙曲機器學習

Hyperbolic Neural Networks

詳見這篇NeurIPS2018 論文 Hyperbolic Neural Networks（https://arxiv.org/abs/1805.09112）介紹，用構造雙曲幾何空間的形式，将深度神經模型泛化到非歐領域。雙曲空間的優勢，是其樹形特性可被用于可視化大型的分類數據或者嵌入複雜網絡，同時在分層、分類或者繼承數據上的表現遠遠超過了歐式空間。在隐含的分層結構中，不相交的子樹在嵌入空間中得到了很好的聚類。

這篇論文的主要貢獻是在神經網絡和深度學習的背景下建立雙曲空間和歐式空間之間的鴻溝，以規範的方式将基本的算子和多項式回歸、前饋網絡、RNN和GRU泛化到雙曲幾何中的龐加萊模型中。

此外，推薦讀者們還可以觀摩一下這個hyperlib庫，https://github.com/nalexai/hyperlib

該庫在雙曲空間中實現常見的神經網絡組件（使用Poincare模型）。該庫的實現使用Tensorflow作為後端，據作者宣稱可以很容易地與Keras一起使用，旨在幫助數據科學家，機器學習工程師，研究人員和其他人實現雙曲神經網絡。

複值神經網絡

Complex-Valued Neural Networks

複值神經網絡是在複平面上處理信息的一類神經網絡，其狀态變量、連接權值與激勵函數都是複值的。複值神經網絡可視為實值神經網絡的一種推廣,但與實值神經網絡有很多不同，具有更多複雜的性質.複值神經網絡既可以處理現實生活中的複值問題，也可以處理實值問題，比實值神經網絡功能更強大與更具優勢，有些問題無法用實值神經網絡解決，如XOR問題，而用複值神經網絡則迎刃而解。（摘自：謝東《幾類複值神經網絡的動力學行為研究》，幾類複值神經網絡的動力學行為研究--《湖南大學》2017年博士論文）

這篇論文Deep ComplexNetworks（https://arxiv.org/abs/1705.09792），針對複雜神經網絡設計了關鍵的原子組件，并應用于卷積前饋網絡和卷積LSTM。

————————————————