機器學習研究今年誰最火？幾何深度學習最大赢家，Reddit吵成一團
博雯 發自 凹非寺
機器學習今年的熱門研究，會是什麼？
近日，有網友在Reddit開了這麼一個盤，立刻吸引了大批MLer的注意。
有人提名自監督模型，有人認為表征學習越來越受到關注，還有人認為基于物理的機器學習才是未來的方向……
然而，目前從評論區最高贊數來看，上述的這幾個方向都不是“赢家”。
截至目前，獲贊最多的選手是——幾何深度學習。
這項技術是因Twitter首席科學家、圖機器學習大牛Michael Bronstein去年發表的一篇論文走入了大衆視線。
（順帶一提那篇論文有160頁）
那麼問題就來了：
Top人氣從何而來？幾何深度學習全名Geometric Deep Learning，最早是Michael Bronstein在2016年的一篇論文中引出的一個概念。
簡單來說，這是一種試圖從對稱性和不變性的視角出發，從幾何上統一CNNs、GNNs、LSTMs、Transformers等典型架構的方法。
在高贊評論的下方，有人用一個簡單的例子解釋了這種“對稱性”：
傳統網絡認為“E”和“3”是不同的，但是具有鏡像對稱性（或π鍵旋轉）的網絡卻會認為它們是一緻的。
CNN就是這樣，當不變性變得可平移（或者可轉換）時，右上角的3和中心的3當然就是一樣的。我們希望将CNN的這種特性“推及”到其他架構上。
這就對稱帶來的穩定性，因為在視覺上，許多物體其實是同一個物體，會具有“這是同一個物體，隻是翻轉了一下”的3D幾何相似性，因此很多問題都可以基于對稱性得到解決。
而傳統卷積網絡更多地使用數據增強，如旋轉，平移，翻轉來補償這一目的。
所以，幾何深度學習希望幾何學中的“不變群”的概念範圍放得更寬，讓網絡除了旋轉平移對稱的常規操作之外，還能囊括“不變”這種操作。
比如在一段視頻中，有兩輛小車相向而行，無論速度如何，有無遮擋，視頻的語義就是兩輛小車相向行駛。
總的來說，幾何深度學習既能使卷積網絡更加穩定，也能更好地面對複雜度爆炸的拟合函數。
其他熱門提名除了幾何深度學習這個大熱門，還有不少我們熟悉的方法也進入了“提名”。
比如，在在評論區中被提及的次數最多的“民推之子”——自監督學習。
監督學習是目前機器學習領域主流的方法，而自監督學習作為一種新的學習方法，利用輸入數據本身作為監督信号，從未标記的數據中學習信息表示，幾乎有利于所有不同類型的下遊任務。
在圖像分類、語言翻譯等諸多CV和NLP領域都是随處可見，LeCun也一直十分推崇這種研究方向。
△LeCun2018年演講
也有人認為表征學習和可解釋性 （interpretability）越來越受到關注。
他首先解釋道，提名表征學習是因為理論深度學習領域似乎正在經曆一個從“規範”問題（如深度與寬度、近似理論、動态）到更抽象問題的轉變：
比如什麼才是好的表示？表示的哪些屬性是重要的？如何用數學的方式定義這個概念？我們如何執行它們？
可解釋性與表征學習也有一定關系：如果能夠理解什麼是好的表現，能夠在它上面強加屬性，那麼它就更具有可解釋性。
還有提名檢索、應用于強化學習上的遷移學習、多模态以及大規模語言模型上的偏好學習的：
其中的“檢索”指的是從外部數據集中檢索信息，就像是deepmind近期的這項實驗一樣。
這位帖主還提到，也可以利用檢索來補救長尾問題。
有意思的是，評論區有位提名“量子機器學習”的，引來了一位搞物理的，真誠向搞AI的發問：
這玩意兒是真的有用，還是隻是民科？
其實在2017年時，圖靈獎得主姚期智就在一次演講時說過“如果能夠把量子計算和AI放在一起，我們可能做出連大自然都沒有想到的事情。”
這是一個量子計算和機器學習交叉的的跨學科技術領域，借助于量子特性開發高性能的量子機器學習算法，從而加快或拓寬人工智能的應用場景。
不過目前還沒有影響廣泛的應用出現，因此樓主謹慎地回複：不了解，不過好多人說這是機器學習的最新趨勢來着…….
評論區中，我們熟悉的擴散模型、聯邦學習、差分算法、元學習也都有人提及。
等到了今年年底的時候，我們可以再挖墳，看看是不是真的有提名中了獎。
參考鍊接：
https://www.reddit.com/r/MachineLearning/comments/t04ekm/d_whats_hot_for_machine_learning_research_in_2022/
— 完 —
量子位 QbitAI · 頭條号簽約
最新文章
-
“豫西中醫界之泰鬥喬保均”治療疑難病60年經驗賞析
5小時前 -
回憶、健忘和灑脫
6小時前 -
弘一法師：“真的不忍心告訴你，這個世界隻是一個夢。你一輩子執
6小時前 -
心理學，準的讓你驚叫
6小時前 -
人生，成大器者有四識，知識、見識、膽識、遠識
6小時前 -
俞和：被遺忘的書法家，以古為師，創新在手！
6小時前 -
2024屆新高考II卷語文真題答案及解析
7小時前 -
生前隻是小人物，死後震驚史學界
7小時前
熱門文章
-
每日一誦傷寒論第241條
1周前 -
老張老李侃門球之140篇
1天前 -
這個穴位可以治療多種胃痛腹痛，還可以減肥
5天前 -
為什麼五點鐘要起床答案讓人吃驚！（現在知道還不晚）
1周前 -
治療坐骨神經痛藥酒５方
1周前 -
美麗中國-2870：中國最大的内陸河，塔裡木河
2天前 -
二十四山開門放水作竈真訣開門放水作竈直訣——子山
1天前 -
門球技巧 隻需五個字讓你打好門球
1天前
有話要說...