作者：胖胖的小橘
李東聽了幾分鐘，大概就明白這到底是怎麼回事了。
這三家，平日裏你搶我的人我挖你的牆角。
誰家的預訓練在哪兒卡了殼，那都是壓箱底的機密，當着兩家死對頭的面，誰會真的掏底呀？
按照這個聊法，聊到大會閉幕，也聊不進正題。
於是李東放下茶杯，笑眯眯地打斷了雅各布。
“雅各布博士，你問的這些，你們組自己掛出來的技術報告裏，就有答案。”
“咱們立個規矩吧。”李東笑着看向了休息室裏的腥耍敖裉煸谶@間屋子裏，不管誰提的問題，我的回答，三家一起聽。”
“所以……藏着掖着的最喫虧。”
三位首席科學家面面相覷。
幾秒鐘後，也不知道是誰先把心一橫。
反正答案大家都聽得見，那還客氣什麼？
多問的，纔是賺的。
“李東教授。”
還是雅各布先開口。
“那我換個問法。”
“千億級參數的Loss曲面，強上全量Hessian矩陣純屬做夢，二階的預條件子連顯存都塞不進，只能退化到一階的Adam系硬磨。”
“如果先用您那套算法重排，把參數空間正交化到近似對角陣……”
“預條件子，是不是就能直接降維成逐元素的標量縮放？”
他一說完，另外兩家的人也停下了手中正在記錄的筆，抬頭看向李東。
李東聽完點了點頭。
“路子是對的。”
“但你們光盯着算力和顯存了，問題的核心不在於算不算得起。”
“而在於你們根本不知道，該在哪個標度上去算。”
雅各布一怔：“標度？”
“Loss曲率不是一張靜態的地圖。”
李東說道。
“它跟着你的Batch Size縮，跟着學習率漂，還跟着網絡的Width一起扭曲。”
“我那個算法之所以成立，是因爲Zeta算子的譜特徵背後，有一套解析的Scaling Law兜底。”
“我是先喫透了規律，纔敢去動算的。”
“而你們呢？”
“你們梯度的噪聲標度，是怎麼做標定和對齊的？”
“網絡Width翻一倍，這個Scale往哪邊漂移，你們跑過消融實驗嗎？”
雅各布握張了張嘴，沒出聲，整個人像是被這一問，好像讓他想到了什麼。
與此同時，李東的記憶宮殿裏。
大廳中央那座臨時書架上，現出了一份嶄新的殘篇。
【臨界Batch Size，由梯度噪聲的Scale唯一確定。】
【將學習率、批大小、網絡寬度與深度，統一收斂至同一套Scaling Law解析式。】
【在千萬級參數的Proxy模型上定死全局超參，借參數化的對稱性，零樣本無損遷移至萬億參數域。】
【若該定律成立，不同參數規模的Loss下降曲線，在對數座標系下必將塌縮爲同一條母線。】
【至於Attention機制內的Softmax溫度超參，如何隨寬度協同縮放……】
李東看着這個殘片，心裏已經服氣了。
在小模型上把戲排完，到大模型上直接Zero-shot首演，連彩排的場租都省了。
這幫人藏在肚子裏的東西，可比他們掛在網上的論文，值錢太多了，這就是經驗，或者說這特麼就是用錢燒出來的靈感。
他李東或許花點時間也能想出來，但是想出來有什麼用？
他有錢去燒，然後去驗證自己的想法嗎？
而現在雅各布的經驗明顯替他省掉了這筆錢。
現實裏，雅各布回過神來，幾乎是立馬將靈感寫進了本子裏。
有了他開這個頭，休息室裏也就破冰了。
接下來的交流就脫離了常規的一問一答，演變成了一場圍繞着“降維算法如何真正在萬卡集羣上落地”的學術討論了。
Gemini的馬庫斯率先提問，他拋出了跨洲集羣的物理延遲痛點。
幾十萬張加速卡隔着太平洋跑同步，降維算法作爲一種全局操作，怎麼可能扛得住海底光纜的物理牆？
而李東不僅用Zeta零點的高階局部重排，證明了降維算法切分後截斷誤差完全可控，更直接甩出了一套顛覆性的解法：放棄強同步，把整場訓練拆成“Local-SGD與週期性漂移聚合的異步範式”的模式。
底層各跑各的Local-SGD，外層利用降維算法，隔上幾百步只去提取和對齊一次權重的“漂移量”。
生生把跨洋帶寬的物理死局，盤成了一致性的數學遊戲。
馬庫斯這邊剛被李東忽悠完，Claude的伊森緊跟着又砸出了低精度浮點的算力黑洞。
大模型在預訓練時瘋狂飆Spike、爆NaN，這些帶噪的極端離羣值，會不會反過來把需要乾淨數值的降維算法攪成一鍋粥？
李東一針見血地挑明，降維重排非但不怕刺頭，反而最喜歡這種重尾分佈，因爲能量越是抱團，特徵流形上的座標就越好找。
爲了讓降維算法完美適配低精度的帶噪環境，他給出的方案路子也很野。
不搞粗暴的截斷，而是把底層數值格式直接重構爲對數域上的非均勻量化網格，讓浮點刻度去自適應地追趕極值能量。
幾個來回的交鋒，句句不離降維算法的工程嫁接，卻又字字直戳巨頭們用幾千萬美金都燒不出來的“解決方案”。
而隨着這幾位首席科學家的醍醐灌頂，李東的記憶宮殿裏……
【異步陳舊度不再視爲梯度噪聲，而是可被顯式補償的位移向量。自此，跨洲集訓的瓶頸，徹底從傳輸帶寬降維至拓撲一致性。】
【將數值格式重構爲對數域上的非均勻刻度，令量化噪聲沿能量分佈自適應展開……】
一份份價值連城的工程殘篇，就這麼被他薅進了書架上。
就在這個時候，一直安靜喝茶的諾維格，放下了茶杯。
“李東……額教授。”
“我聽你說了一上午。”
“分段的重排，近似對角的基底，跟着能量走的刻度。”
“每一條，在zeta那邊都站得住，因爲zeta是一個寫得出來的對象，它的譜、它的縮放律、它的誤差界，全是從解析式裏推出來的。”
“可一個萬億參數的模型，沒有解析式。”
“它的譜，沒人寫得出來，只能靠採樣去摸，你的誤差界在那邊沒有定理，只有實驗。”
“把你的算法，從一個解析的世界，嫁接進一個只能測量的世界，李東教授，這中間隔着的，恐怕不是工程量。”
“是一整段還沒有人寫出來的數學。”
滿屋子的人都安靜了下來。
李東心裏卻是微微一動。
到底是盛名之下無虛士啊，難怪這個老紳士有這麼大的名號。
三位首席科學家問了一上午的怎麼做，只有這位老先生，在問“憑什麼能做”。
一下子就點出了李東忽悠人的本質。
不過，李東要的東西已經到手了，他也沒有半分的遮掩說道。
“是隔着的。”
“那段數學，今天我一個字也沒替你們寫。”
“可是諾維格教授。”他笑着看了一圈屋裏的人。
“譜寫不出來，可以去摸，界沒有定理，可以去立。”
“路不存在，和路不值得修，從來都是兩碼事。”
“我把地圖畫到這兒了。”
“走不走，你們定。”
諾維格深深看了他一眼，沒有再說話。
而記憶宮殿的書架最頂層，悄無聲息地，多出了一份一行字的手稿。
【解析的界不存在的地方，界可以被學習，把誤差估計本身，做成模型的一部分……】
李東：……
這傢伙藏的真深。
難怪戴維·朗死活要把人留在屋裏。
第403章 回京
一上午，就這麼過去了。
午飯是工作人員送進來的工作餐，大家都只是簡單的扒了幾口。
到了下午，李東繼續用降維算法的路子去套他想要的知識。
從預訓練的數據配比聊到底層通信的拓撲，再聊到工程上那些誰都不肯寫進論文裏的收斂玄學。
李東來者不拒。
他的每一個回答都很漂亮，數學上沒有絲毫的漏洞，聽上去像是從最底下那層第一性原理，一路推到了你家機房門口。
哪怕屋裏這幾位回去逐字推敲，頂多也只能憋出一句：眼下未必實現得了，但思路是對的。
而每一次回答的末尾，李東又總是不動聲色地掛着一個新的鉤子。
三位首席科學家，有的當場就咬鉤了，有的明顯沒跟上，可手上半點不慢，原句抄下後在旁邊打一個大大的問號。
三個本子，眼瞅着就厚了起來。
而記憶宮殿裏那座臨時書架，也在以另一種方式，飛快地豐滿着。
至於亞當·凱利三人，前半小時還能勉強跟上節奏，偶爾插一句戰略層面的場面話。
後來，三個人就很有默契地不再插口。
若是有外人在場，多半會以爲這是三家巨頭在聯合面試李東。
但只有李東自己心裏清楚。
從頭到尾，真正被摸底的，是對面那三位。
……
單間外面，打從上午起，“路過”這裏的人就沒斷過。
好幾個人舉着手機假裝找信號“不小心”走到這裏的時候都會停下，朝着門裏瞅上兩眼。
“還在裏面？”
“從早上九點到現在，午飯都是送進去的。”
“……聊什麼，不用猜了吧。”
確實不用猜，因爲前一天，李東在展廳裏那場雨露均霑式的“開源佈道”，全程盤的都是降維算法往大模型底座上嫁接的事。
如今算法的主人，同三家巨頭關起門來一聊就是半天天，除了那件事，還能有什麼？
上一篇：我家艺人太没上进心了
下一篇：挨打永久加防御，神魔都打不动我