作者：胖胖的小橘
……
就在李東順著這根線往下捋的時候。
臺上的姚先生，忽然停了下來，低頭看著教案，似乎是在等底下的同學消化。
教室裡，一下子就靜了。
李東還沉浸在剛才的思路里沒出來，姚先生講的那個懶惰訓練有個地方他一時沒搞明白。
於是他下意識地就喃喃自語了一句。
“……可它要是一直這麼懶，那它到底是從什麼時候起，才真正學到東西的呢？”
聲音不大。
可教室太靜了，這一句話就顯得格外的清楚了。
姚先生本來還低頭看著教案，聽見這一聲，他抬起了頭。
目光落到後排的李東身上，他笑了笑。
“李東教授，你這個問題，問得很好，”老人慢條斯理地說道，“網路要是真就一直這麼懶、一直圍著起點打轉，那它頂多算個換了身皮的核方法，談不上學到什麼新東西。它真正開始學，是從它肯挪窩、肯把那些旋鈕往遠了擰、在底層自己長出一套有用特徵來的那一刻起的。”
“這中間隔著的那道坎叫逃離 NTK機制，進入特徵學習。”
“至於這道坎卡在哪兒，又該怎麼邁過去……”
姚先生笑著搖了搖頭。
“這恰恰是現在還沒有幾個人能說清楚的事。”
姚先生話音一落，李東卻愣在了那裡。
周圍幾個學生偷偷瞄他，心裡都犯起了嘀咕。
好傢伙。
這個問題難成這樣了？連東神都被說懵逼了？
然而李東並沒有被說懵。
他愣住的原因只是因為……剛才他的腦子裡毫無徵兆地冒出來一些更深的東西。
【當網路寬到極限的時候，不再被看成一堆死板的旋鈕，而是化作了一片連續的“機率分佈”】
【每一個神經元，都成了這片分佈裡的一粒塵埃。】
【訓練也不再是苦哈哈地一個個擰旋鈕，而是這一整片分佈，在一個叫 Wasserstein空間的幾何世界裡，順著最省力的方向流動。】
這是把訓練直接寫成了一道描述質量如何流動的偏微分方程啊。
而順著這道方程往下，那道卡了無數人從懶惰到特徵學習的坎，竟隱隱約約露出了一點能繞過去的縫。
這才是李東懵逼的原因，他立刻就反應了過來……
這是姚先生腦子裡的思路，是姚先生那些還沒來得及說出口、甚至自己都未必理順了的靈感。
它們被薪火相傳進階版的效果，塞進了李東的記憶宮殿裡。
可緊接著李東又覺得不對勁。
剛才他坐在底下聽，姚先生講了那麼久，他腦子裡也只是把舊東西串了串，半點新的沒冒出來。
偏偏是他喃喃問了那一句、姚先生回了他那一句之後。
這股靈感才出現的。
“不會吧……”
“難道非得我開口問才能……觸發這個效果？”
他越想越覺得是這個理。
於是李東抬起頭，有些抱歉地，看了一眼教室裡那一張張還懵著的臉。
對不住了，各位。
接下來我要乾的這些事，真不是我自己想這麼幹的。
……
於是在智班這一屋子人的眼皮子底下……
李東自打問完頭一個問題以後，就完全停不下來了。
“姚先生，那順著這個往下想。”
“要是乾脆別盯著一個個引數看了，把整張網路拉到無限寬，看成一片連續的分佈，訓練是不是就能看作這片分佈的演化？”
姚先生握著粉筆的手，微微一頓。
他沒料到，這小子一張口，直接切到了平均場理論的腹地。
“……可以這麼看。”
他眼裡也透出了光。
“把訓練寫成分佈的流動，那你緊接著就會撞上一個問題，它順著什麼尺度在流動？”
“順著最省力的方向唄。”
李東幾乎是脫口而出。
“可省力得有個尺度，尋常的歐氏距離不頂用，得換一種能丈量兩片機率分佈遠近的法子……”
“最優傳輸給的度量尺度。”
姚先生接了下去，語速也快了幾分。
“拿 Wasserstein距離當尺度，這片分佈的流動，就成了一道最優傳輸空間裡的梯度流。”
“再往下一落地，你就得到一道偏微分方程。”
“連續性方程！”
兩個人幾乎是同時說出了這五個字。
第395章“棋逢對手”
兩人異口同聲以後，姚先生愣了一下，李東也愣了一下。
空氣裡有那麼一瞬間的安靜。
接下來，就沒旁人什麼事了。
李東問得越來越深，姚先生答得越來越快。
一個問，網路化作機率流之後，憑什麼敢保證它一定能流到全域性最優。
一個答，這片分佈會不會卡在半路，卡住了又得靠什麼噪聲把它推出去。
兩個人你一句我一句，全是這幫大二學生聽都沒聽過的學術黑話，直接從分佈流動，一路聊到了那條這兩年吵得最兇的縮放定律（Scaling Law）——模型越大、資料越多、算力越足，它犯的錯就順著一條冪律往下掉，可這條冪律背後的數到底是從哪兒冒出來的，至今沒人能從根上算明白。
而臺下這幫大二的學生，這會兒是徹底懵了。
他們只看見東神坐在後排，問題一個一個跑出來，人也越來越激動，甚至都要站起來了，眼睛跟個餓狼一樣泛著光。
這……這是東神？
這幫人腦子裡幾乎出現了同一個畫面。
高中那會兒，班上總有那麼一個老師剛把問題問一半，就把手舉得老高、一節課能站起來問八百回、生怕全班不知道他懂得多的傢伙。
可那是東神啊。
菲爾茲獎最年輕的得主，本土頭一個。
這麼個人物，怎麼一上了頭，竟跟當年班裡那個最招人側目的同學，一個模樣了？
東神的人設，好像有那麼點……塌了。
可沒人知道。
站在臺上的姚先生，心裡此刻是另一番滋味。
他和李東的討論越多越是品出了一點古怪來。
每一回，他剛把一個問題答到一半，心裡那條還沒捋順的思路，就被李東下一個問題就問了出來。
他往哪兒想，李東就往哪兒問。
他這邊一個坎還沒邁過去，那邊就已經把下一步該往哪走的問題問出來了。
姚先生忽然想起自己常跟學生說的一句話。
下棋這東西，對手要是都比你差著一大截，你這輩子棋藝也長不了多少。
可冷不丁碰上一個實力差不多的對手，你來我往，幾盤殺下來，自己的棋反倒精進得飛快。
他教了一輩子書，見過的好苗子，數也數不過來。
可像今天這樣，被一個人順著自己的思路，一路往最深處推著走的滋味，他還是頭一回嚐到。
知己者，莫若東也。
老人心裡忽然冒出這麼一句來，連他自己，都覺得有點好笑。
到後來，這一老一少，已經分不清誰問誰答了。
姚先生從臺上走了下來，索性來到了李東的桌邊。
兩個人對著一張草稿紙，你寫一行，我接一行，有時為著一個地方各執一詞，爭得面紅耳赤，爭著爭著又忽然一拍即合，異口同聲地說出同一個東西來。
黑板早被晾在了一邊。
這哪還是上課。
這分明是兩個一同鑽進了同一個問題裡誰也拔不出來的人，在那兒你來我往地切磋。
……
也不知過了多久。
一陣下課鈴聲響了起來。
才總算把這對年紀差著大半個世紀的兩人，從那張草稿紙裡給拽了出來。
姚先生抬頭看了眼窗外的天色，這才回過神來，有些意猶未盡地放下了筆。
他清了清嗓子，轉向了教室裡那一屋子還沒緩過神來的學生。
“今天就講到這兒，”老人臉上露出溫和的笑。
“我講的這些，你們一時聽不懂，很正常，回去都好好琢磨琢磨。”
教室裡的一群人，懵懵地點了點頭。
琢磨。
琢磨啥呀，你們後面再聊什麼，我們都沒聽明白好嗎！！
可姚先生髮了話，大家也只能收拾起東西，稀稀拉拉地往外走了。
走到門口，還有人忍不住回過頭，又往那個角落看了一眼。
李東也站起身準備走。
“李東教授。”
姚先生卻攔住了他
“你等我一下。”
姚先生回到講臺和助教說了幾句這才朝李東招了招手。
李東走了過去。
“姚先生。”
“李東教授……”
“叫我李東就行，”
上一篇：我家艺人太没上进心了
下一篇：挨打永久加防御，神魔都打不动我