作者：胖胖的小橘
李東聽了幾分鐘，大概就明白這到底是怎麼回事了。
這三家，平日裡你搶我的人我挖你的牆角。
誰家的預訓練在哪兒卡了殼，那都是壓箱底的機密，當著兩家死對頭的面，誰會真的掏底呀？
按照這個聊法，聊到大會閉幕，也聊不進正題。
於是李東放下茶杯，笑眯眯地打斷了雅各布。
“雅各布博士，你問的這些，你們組自己掛出來的技術報告裡，就有答案。”
“咱們立個規矩吧。”李東笑著看向了休息室裡的眾人，“今天在這間屋子裡，不管誰提的問題，我的回答，三家一起聽。”
“所以……藏著掖著的最吃虧。”
三位首席科學家面面相覷。
幾秒鐘後，也不知道是誰先把心一橫。
反正答案大家都聽得見，那還客氣什麼？
多問的，才是賺的。
“李東教授。”
還是雅各布先開口。
“那我換個問法。”
“千億級引數的Loss曲面，強上全量Hessian矩陣純屬做夢，二階的預條件子連視訊記憶體都塞不進，只能退化到一階的Adam系硬磨。”
“如果先用您那套演算法重排，把引數空間正交化到近似對角陣……”
“預條件子，是不是就能直接降維成逐元素的標量縮放？”
他一說完，另外兩家的人也停下了手中正在記錄的筆，抬頭看向李東。
李東聽完點了點頭。
“路子是對的。”
“但你們光盯著算力和視訊記憶體了，問題的核心不在於算不算得起。”
“而在於你們根本不知道，該在哪個標度上去算。”
雅各布一怔：“標度？”
“Loss曲率不是一張靜態的地圖。”
李東說道。
“它跟著你的Batch Size縮，跟著學習率漂，還跟著網路的Width一起扭曲。”
“我那個演算法之所以成立，是因為Zeta咚阍淖V特徵背後，有一套解析的Scaling Law兜底。”
“我是先吃透了規律，才敢去動算的。”
“而你們呢？”
“你們梯度的噪聲標度，是怎麼做標定和對齊的？”
“網路Width翻一倍，這個Scale往哪邊漂移，你們跑過消融實驗嗎？”
雅各布握張了張嘴，沒出聲，整個人像是被這一問，好像讓他想到了什麼。
與此同時，李東的記憶宮殿裡。
大廳中央那座臨時書架上，現出了一份嶄新的殘篇。
【臨界Batch Size，由梯度噪聲的Scale唯一確定。】
【將學習率、批大小、網路寬度與深度，統一收斂至同一套Scaling Law解析式。】
【在千萬級引數的Proxy模型上定死全域性超參，借引數化的對稱性，零樣本無損遷移至萬億引數域。】
【若該定律成立，不同引數規模的Loss下降曲線，在對數座標系下必將塌縮為同一條母線。】
【至於Attention機制內的Softmax溫度超參，如何隨寬度協同縮放……】
李東看著這個殘片，心裡已經服氣了。
在小模型上把戲排完，到大模型上直接Zero-shot首演，連彩排的場租都省了。
這幫人藏在肚子裡的東西，可比他們掛在網上的論文，值錢太多了，這就是經驗，或者說這特麼就是用錢燒出來的靈感。
他李東或許花點時間也能想出來，但是想出來有什麼用？
他有錢去燒，然後去驗證自己的想法嗎？
而現在雅各布的經驗明顯替他省掉了這筆錢。
現實裡，雅各布回過神來，幾乎是立馬將靈感寫進了本子裡。
有了他開這個頭，休息室裡也就破冰了。
接下來的交流就脫離了常規的一問一答，演變成了一場圍繞著“降維演算法如何真正在萬卡叢集上落地”的學術討論了。
Gemini的馬庫斯率先提問，他丟擲了跨洲叢集的物理延遲痛點。
幾十萬張加速卡隔著太平洋跑同步，降維演算法作為一種全域性操作，怎麼可能扛得住海底光纜的物理牆？
而李東不僅用Zeta零點的高階區域性重排，證明了降維演算法切分後截斷誤差完全可控，更直接甩出了一套顛覆性的解法：放棄強同步，把整場訓練拆成“Local-SGD與週期性漂移聚合的非同步範式”的模式。
底層各跑各的Local-SGD，外層利用降維演算法，隔上幾百步只去提取和對齊一次權重的“漂移量”。
生生把跨洋頻寬的物理死局，盤成了一致性的數學遊戲。
馬庫斯這邊剛被李東忽悠完，Claude的伊森緊跟著又砸出了低精度浮點的算力黑洞。
大模型在預訓練時瘋狂飆Spike、爆NaN，這些帶噪的極端離群值，會不會反過來把需要乾淨數值的降維演算法攪成一鍋粥？
李東一針見血地挑明，降維重排非但不怕刺頭，反而最喜歡這種重尾分佈，因為能量越是抱團，特徵流形上的座標就越好找。
為了讓降維演算法完美適配低精度的帶噪環境，他給出的方案路子也很野。
不搞粗暴的截斷，而是把底層數值格式直接重構為對數域上的非均勻量化網格，讓浮點刻度去自適應地追趕極值能量。
幾個來回的交鋒，句句不離降維演算法的工程嫁接，卻又字字直戳巨頭們用幾千萬美金都燒不出來的“解決方案”。
而隨著這幾位首席科學家的醍醐灌頂，李東的記憶宮殿裡……
【非同步陳舊度不再視為梯度噪聲，而是可被顯式補償的位移向量。自此，跨洲集訓的瓶頸，徹底從傳輸頻寬降維至拓撲一致性。】
【將數值格式重構為對數域上的非均勻刻度，令量化噪聲沿能量分佈自適應展開……】
一份份價值連城的工程殘篇，就這麼被他薅進了書架上。
就在這個時候，一直安靜喝茶的諾維格，放下了茶杯。
“李東……額教授。”
“我聽你說了一上午。”
“分段的重排，近似對角的基底，跟著能量走的刻度。”
“每一條，在zeta那邊都站得住，因為zeta是一個寫得出來的物件，它的譜、它的縮放律、它的誤差界，全是從解析式裡推出來的。”
“可一個萬億引數的模型，沒有解析式。”
“它的譜，沒人寫得出來，只能靠取樣去摸，你的誤差界在那邊沒有定理，只有實驗。”
“把你的演算法，從一個解析的世界，嫁接進一個只能測量的世界，李東教授，這中間隔著的，恐怕不是工程量。”
“是一整段還沒有人寫出來的數學。”
滿屋子的人都安靜了下來。
李東心裡卻是微微一動。
到底是盛名之下無虛士啊，難怪這個老紳士有這麼大的名號。
三位首席科學家問了一上午的怎麼做，只有這位老先生，在問“憑什麼能做”。
一下子就點出了李東忽悠人的本質。
不過，李東要的東西已經到手了，他也沒有半分的遮掩說道。
“是隔著的。”
“那段數學，今天我一個字也沒替你們寫。”
“可是諾維格教授。”他笑著看了一圈屋裡的人。
“譜寫不出來，可以去摸，界沒有定理，可以去立。”
“路不存在，和路不值得修，從來都是兩碼事。”
“我把地圖畫到這兒了。”
“走不走，你們定。”
諾維格深深看了他一眼，沒有再說話。
而記憶宮殿的書架最頂層，悄無聲息地，多出了一份一行字的手稿。
【解析的界不存在的地方，界可以被學習，把誤差估計本身，做成模型的一部分……】
李東：……
這傢伙藏的真深。
難怪戴維·朗死活要把人留在屋裡。
第403章 回京
一上午，就這麼過去了。
午飯是工作人員送進來的工作餐，大家都只是簡單的扒了幾口。
到了下午，李東繼續用降維演算法的路子去套他想要的知識。
從預訓練的資料配比聊到底層通訊的拓撲，再聊到工程上那些誰都不肯寫進論文裡的收斂玄學。
李東來者不拒。
他的每一個回答都很漂亮，數學上沒有絲毫的漏洞，聽上去像是從最底下那層第一性原理，一路推到了你家機房門口。
哪怕屋裡這幾位回去逐字推敲，頂多也只能憋出一句：眼下未必實現得了，但思路是對的。
而每一次回答的末尾，李東又總是不動聲色地掛著一個新的鉤子。
三位首席科學家，有的當場就咬鉤了，有的明顯沒跟上，可手上半點不慢，原句抄下後在旁邊打一個大大的問號。
三個本子，眼瞅著就厚了起來。
而記憶宮殿裡那座臨時書架，也在以另一種方式，飛快地豐滿著。
至於亞當·凱利三人，前半小時還能勉強跟上節奏，偶爾插一句戰略層面的場面話。
後來，三個人就很有默契地不再插口。
若是有外人在場，多半會以為這是三家巨頭在聯合面試李東。
但只有李東自己心裡清楚。
從頭到尾，真正被摸底的，是對面那三位。
……
單間外面，打從上午起，“路過”這裡的人就沒斷過。
好幾個人舉著手機假裝找訊號“不小心”走到這裡的時候都會停下，朝著門裡瞅上兩眼。
“還在裡面？”
“從早上九點到現在，午飯都是送進去的。”
“……聊什麼，不用猜了吧。”
確實不用猜，因為前一天，李東在展廳裡那場雨露均霑式的“開源佈道”，全程盤的都是降維演算法往大模型底座上嫁接的事。
如今演算法的主人，同三家巨頭關起門來一聊就是半天天，除了那件事，還能有什麼？
上一篇：我家艺人太没上进心了
下一篇：挨打永久加防御，神魔都打不动我