作者：胖胖的小橘
“沒見過，新來的？”
智班這地方，人不是一次招齊的。
所以中途多出一張生面孔，並不算什麼稀奇事。
只是坐在前排的一個學生，盯著那張臉看了一會兒，忽然嘀咕了一句。
“……這人，我怎麼瞧著這麼眼熟？”
旁邊的人順著他的目光看過去，也覺得是有那麼點眼熟，可一時半會兒，愣是想不起來在哪兒見過。
也難怪。
電視上那張臉和真人比起來，到底還是少了些許帥氣。
所以這一屋子人，一時都沒能把他對上號。
就在大家夥兒犯著嘀咕的時候，那個最先說眼熟的學生，眼睛猛地睜大了。
他倒吸了一口涼氣。
“臥槽……”
“這不是東神嗎？！”
這話剛說完屋子的人，全部看向了李東。
被這麼多雙眼睛盯著，李東都是一點沒怯場，衝著同學們點了點頭，便隨便找了個位置坐了下來。
也就在這個時候。
教室的前門，被人從外頭推開了。
一位老人，緩步走了進來。
第393章 免費，專業知識有點多
ps：這一堂課我是從姚先生的公開課影片上扒下來的，也是李東後續搭建大模型的基礎，所以沒辦法一句話帶過。
進來的老人，正是姚先生。
姚先生的背，有些彎可看著卻不佝僂。
圖靈獎，這座計算機行業的諾貝爾獎就是他捧回華夏的。
二十年前，他把美國的房子賣了，終身教職也辭了，一個人回到了水木。
回來的第一件事，不是先去搭自己的實驗室，而是給本科生開了一門當時國內壓根沒人開過的課。
後來就有了姚班，又有了眼前這間教室所在的智班。
這條路上能數得出名字的好苗子，十個裡有八九，都是從他手底下走出來的。
姚先生進了教室，就感覺今天班上的氛圍有點不太對勁。
底下的學生還在議論，不少人時不時回過頭，往教室後排那個角落裡看。
他順著那些目光看了過去。
然後，就看見了李東。
李東也正看著他。
四目相對，姚先生臉上的皺紋舒展開來，衝他不動聲色地點了點頭。
李東也笑著，點了點頭。
此時站在一旁的助教，已經把課件投到了智慧黑板上。
螢幕一亮，大家這才把目光從李東身上收了回去。
今天這節課，姚先生講的是《人工智慧應用數學》。
這門課是從他當年那門《計算機應用數學》裡拓展出來的。
說起來這門課和田鋼手裡那個“AI for Math”，其實是反著來的。
田鋼琢磨的是讓AI去替數學家打工，是拿AI去做數學。
而姚先生這門課是拿數學把AI本身講清楚。
它憑什麼能學會東西，它訓練的時候腦子裡到底在發生了什麼，它為什麼又時靈時不靈的。
而這些對眼下的李東來說，正是他需要的。
……
姚先生在黑板上畫了一道曲線，上面稀稀拉拉點了七八個點。
“我先問你們一個特別外行的問題，”他轉過身帶著點笑意，“七個點，我要拿一條曲線把它們全串起來，按你們高中學的幾次的多項式夠用？”
底下有人小聲答：“六次。”
“對，六次就夠，七個點七個係數，嚴絲合縫。”
姚先生點了點頭。
“那我要是給它配上一百萬個係數呢？”
這下教室裡安靜了下來。
姚先生這裡其實就是在說AI模型了。
如果模型的引數比已知的資料點還要多，為了死死踩中這七個點，這條曲線就勢必會在空隙處劇烈震盪，把真實的走勢扯得稀爛。
這也是演算法界永遠繞不開的一道坎——偏差與方差的權衡。
簡單的說就是模型太簡單了腦容量不夠，這叫叫欠擬合。
模型太複雜了又會把資料裡那些干擾項當成真理給記下來，當你換道它沒見過的新題時，它就會當場抓瞎，這就叫過擬合。
引數越多，這過擬合的症狀，理論上就越致命。
幾十年來，大家都是這麼覺得的。
“可現在的事，邪門就邪門在這兒。”
姚先生在“一百萬”那個數字底下畫了道線。
“我們今天拿來用的那些大模型，引數動輒上千億，遠比餵給它的資料還多。”
“照理說它們早該過擬合到沒法看了。”
“可它們偏偏沒有。”
“它們不光沒爛，反而學得一個比一個好。”
他轉過身在黑板上寫下三個字。
【為什麼？】
接下來，姚先生才真正進了正題。
他要講的是過引數化網路的損失景觀。
所謂損失景觀，可以想像成一片起伏的山地。
模型裡每一個引數，都是一個能擰的旋鈕，上千億個旋鈕擰出來的每一種組合，都對應著這片地面上的一個點，而這個點的海拔高低，就是模型在這種組合下犯的錯有多大。
對大模型的訓練，就是從山上某處出發，順著最陡的方向往下走，一步一步去找那片地勢最低的點。
這個往下走的法子，就叫做叫梯度下降。
按理說旋鈕一多，這片山地的地形就該複雜得嚇人，陷阱遍地，隨便掉到哪個坑裡就再也出不來了。
可數學告訴你的，這樣不對！
在引數足夠多的時候，那片山地最低處的點，根本就不是一個單獨存在的。
它是連成一大片的谷底。
你隨便滾進哪一個裡，幾乎都能滾到一樣低的地方去。
“既然谷底連成了片，那問題就來了，”姚先生繼續說道，“同樣是滾到最低，梯度下降它會挑哪一個落腳？”
這才是真正要命的地方。
這上千億個旋鈕，能把訓練資料完美擬合的組合，多到數不清。
可梯度下降這麼一路滾下來，它不是隨便落，而是帶著一種說不清道不明的偏好，專往那些最平、最簡單的低點裡去。
這種沒人明寫、卻實實在在起著作用的偏好，就叫隱式正則化。
機器之所以沒把噪聲死記下來，不是因為有誰在攔著它，而是因為梯度下降這條路本身，就懶得往那些尖銳、複雜的坑裡鑽。
至於它為什麼懶，數學上是能給出一個說法的。
當一張網路寬到極致的時候，它在訓練裡的一舉一動，會退化成一種早就被研究透了的老東西——核方法。
整個訓練過程，近似於圍著出發點做一次線性展開，網路幾乎不挪窩，只在原地輕輕地晃。
這套理論在圈子裡有個名字，叫 NTK機制（神經正切核）。
而這種“原地不動、只輕輕晃”的狀態，則被形象地稱作懶惰訓練。
第394章 知己者，莫若東也
講到這兒，臺下的學生就有點撐不住了。
他們才大二啊。
這幫人雖說不少都已經上手做起了自己的AI專案，模型調起來一個比一個溜，可姚先生今天講的這個，實在太特麼垂直了。
這已經不是“會不會用”的層面。
這是得專門鑽進深度學習的數學理論裡頭，整天跟損失景觀、隱式偏置、泛化邊界這些東西打交道的人，才跟得上的東西。
隨著姚先生的講解，黑板上的公式越堆越多。
【Θ(x，x′)=……】
底下勉強還能跟上的人，越來越少。
有人已經開始小聲地議論了起來。
“姚先生今天這……跟平時不太一樣啊？”
這話說到了點子上。
平時姚先生上課，是出了名的深入湷觥�
再難的東西，他總能用一些大家聽的動的例子來講解，把學問講得有趣，好懂。
可今天他講的這些什麼過引數化的損失景觀，梯度下降的隱式偏置，還有那個懶惰訓練背後的 NTK機制……
這根本就不是給一群大二智班學生準備的東西。
這像是講給同行聽的。
然而坐在後排的李東，卻聽得津津有味。
這些東西，有一些他也不是全懂。
哪怕這一個禮拜，他幾乎把市面上能找著的AI論文、文獻、測評，一篇不落地全塞進了記憶宮殿。
可記憶宮殿這玩意兒，說到底只是個倉庫。
它能存，卻不能替李東啃透。
那些論文這一篇是講損失景觀，那一篇是講泛化，另一篇又在講什麼核方法，李東完全沒辦法將它們有序的關聯起來。。
而姚先生此刻在臺上講的這些，就像一根針線，終於將這些串聯了起來。
損失景觀為什麼會連成片，連成片之後梯度下降憑什麼偏心，偏心又怎麼扯到了核方法的頭上……
原來，它們講的是同一件事。
上一篇：我家艺人太没上进心了
下一篇：挨打永久加防御，神魔都打不动我