作者：胖胖的小橘
“而且它們腦袋還有問題，我把這個問題叫做秩坍縮（rank collapse）。”
小黑那個圓球還化做一隻小手指了指自己的“腦袋”。
簡單的說這些大模型的腦子，就是拿注意力一層一層疊起來的。
在它腦子裡，每一個字都不再是字，而是一串數字。
業內把管這串數字叫做“表示”（representation），專門用來裝這個字的意思。
每過一層注意力，所有的字就拿著這串數字彼此摻和一回，你借我一點，我借你一點。
壞就壞在，要是隻有這些注意力層，光這麼一層一層摻下去，每個字的那串數字，就會越摻越像。
摻著摻著，所有的字就都都變成了同一個模樣，再也分不出誰是誰。
當然，這些大模型也有預防機制，一個叫“殘差”（residual connection）。
一個叫“前饋層”（FFN）。
可就算這樣，也沒有從根上解決問題。
李東聽得入了神。
這些東西，他先前壓根沒往這麼深的地方想過。
“還有個怪症，叫逆轉詛咒。”
小黑一說起來簡直就停不下來了……
它後面還說了組合性鴻溝和RLHF
一個是大模型碰上那種一環扣一環，得連推好幾步才解得開的題，它根本沒在“推”，只是把見過的套路硬往上套，稍微複雜點它就垮了。
另一個就是，本來是拿人的喜好把它調教得更聽話，可越調它反倒越自負，明明心裡沒底，張口卻是十分的篤定。
小黑說完這些一臉的嫌棄。
李東聽到這兒，連帶著也一起嫌棄起來了。
這些問題小黑好像都沒有，還是小黑可愛。
不像這些大模型，很會唬人，而且還唬的像模像樣。
說實話要是田鋼用這些模型來搭建AI for Math。
李東都不敢想那些數學家會不會被哄成胎盤。
畢竟一般的學者真不一定有這些大模型厲害，所以它偷換概念的時候，他們分不清的。
這些被小黑一路看穿的毛病，單拎出哪一條，都夠那些頂尖團隊頭疼上好一陣子。
可偏偏，這些放在小黑眼裡，竟沒有一樣能難得住它。
李東的眼睛，慢慢亮了起來，於是朝著小黑說道。
“小黑你先玩兒著。”
“我這就去給你，換一間大一點的屋子。”
……
李東把電腦關掉，靠在椅背上，對著那片漆黑的螢幕，發了好一會兒呆。
說是給小黑換新家，可是有個問題。
他想起劉若傳說的話……
這世上最頂尖的算力，和框架都在別人手裡呀。
這種東西，光有錢砸不出來，還得有硬體那一邊的門路才行。
“哎……又要麻煩別人了”
李東拿起手機撥出了一個號碼。
……
魔都，華軒科技。
一間恆溫恆溼的廠房裡，裡面的燈光還沒有熄滅。
廠房裡一塵不染的，幾名穿著白色無塵服的工程師，正圍著一臺機器在做最後一輪的資料複核，誰也沒怎麼出聲。
隔著一層觀察窗，林偉雙手抱在胸前，一動不動地看著裡面那臺龐然大物。
這是他們新一代的浸沒式光刻整機。
兩年前，國威那臺“啟明”系列的國產浸沒式整機落地的時候，也曾經在網上掀起過一陣風浪。
能把這麼一臺頂尖的光刻整機，從裡到外自己攢出來，本身就夠讓人振奮了。
可那對林偉他們來說，那事早就翻篇了，他們可不能停止不前。
眼前這臺，比當年的“啟明”又往前先進了一大截，這是衝著七奈米節點去的。
“林總。”
身旁一名技術員盯著控制屏，聲音裡帶著掩飾不住的激動。
“最新一輪全片驗證的資料，出來了。”
“雙工件臺的同步誤差，整片壓到了閾值以下。”
“套刻精度和焦面控制，從片心到片邊，全程都死死咬在了設計指標上。”
“這臺整機……過線了。”
觀察窗裡，機械臂正穩穩地托著一片晶圓，在兩座工件臺之間無聲地交接。
林偉看了好幾秒，才緩緩吐出一口氣。
他這種人，是不大會把情緒掛在臉上的。
可這一刻，連他手都有些微微發抖。
這臺整機一旦真站穩了，那就意味著它能磨出來下一代國產的AI加速器（AI accelerator）。
這兩年外面那些大模型越堆越大，對算力的要求大得嚇人。
可真正頂尖的那批晶片，華夏自己沒有，而現在……華夏終於可以自己下場了。
雖然跟外面的比，他們手裡這傢伙還差著身位。
人家最頂尖的極紫外光刻（EUV），早就把晶片推到了2奈米節點上。
他們這臺浸沒式光刻（DUV）連同多重曝光，往極限裡一點一點地逼，才把七奈米硬生生啃了下來，工藝更費，良率也更難看。
可這條路能不能走通，從來就不只看單顆晶片的成色。
單顆追不上，那就拿數量去填，成千上萬顆加起來連成一片，靠著規模硬生生把那點差距給抹平了不少。
何況國內的電費便宜，電力又管夠，這麼大一片的晶片也就喂得起。
這條路是真真切切，被他們走通了。
而且這條路能走到今天，裡面離不開的還是……李東那套降維演算法。
是那套演算法解決了流熱耦合即時控制。
林偉到現在都還記得，當年那個在華軒杯複賽卷子最後一問裡，寫下“雙光束雷射干涉無掩模光刻”方案的高中生。
時間一晃，竟也有兩年了。
這些年，林偉在各種場合，沒少聽見這個名字。
數學、太陽物理，甚至醫療上他都聽見過李東這個名字。
“你到底還藏著多少東西呀，李東——教授！”
想到這兒，林偉居然忍不住笑了起來。
就在這時，他西裝口袋裡的手機震懂了起來。
這個點這種場合，能打進來的電話，多半沒什麼好事。
林偉皺了皺眉，騰出一隻手，把手機摸了出來，正要結束通話。
可當他的視線，掃過螢幕上那個名字時……
他的動作，停住了。
林偉轉過頭，衝身旁那名技術員說道。
“這邊你先盯著，我接個電話。”
說完他推開廠房的門，快步走了出去。
“您好，李東教授？”
第391章 給我來五個億的晶片！
次日，上午。
燕大，田鋼的辦公室。
李東推門進去的時候，裡面已經坐了四個人。
田鋼、劉若傳、高穩，還有林偉。
見他來了，三位老師都沒多大反應，各自點了點頭就算是打過招呼了。
只有林偉從沙發上站了起來，語氣恭恭敬敬的說道。
“李東教授，好久不見。”
李東走過去，和他握了握手。
“林總，好久不見。”
田鋼端著茶杯，慢悠悠地開口。
“行了，你倆先別敘舊。”
“李東啊，你大老遠把林總約過來，到底什麼事？電話裡還賣關子。”
高穩在旁邊也跟著笑。
“就是，昨天我約林總，他都說沒空。”
“你倒好，一個電話就把人給叫來了。”
林偉有些不好意思，衝高穩歉意地點了點頭沒接話。
李東也不繞彎子。
他自己從牆角拖了張凳子過來，在幾位老師對面坐下，這才看向田鋼。
“田老師。”
“你那個AI for Math，底座大模型，準備用國內哪一款？”
田鋼想了想，報了個名字。
這是國內一款叫得很響的大模型，這兩年風頭正盛，跑分一度還壓過國外的某一家。
李東聽完，卻搖了搖頭。
“我覺得不太合適。”
田鋼和劉若傳對視了一眼。
他倆是搞純數的，對AI這東西本就半懂不懂，一時沒明白李東哪來的底氣，敢說一款頂尖大模型“不合適”。
李東也沒賣關子，把從小黑那兒聽來的那些問題，又給說了一遍。
什麼Softmax瓶頸、注意力匯聚、熵坍縮、秩坍縮、逆轉詛咒、組合性鴻溝……一個接一個，全給說了出來。
屋裡一下子安靜了下來。
高穩和林偉，幾乎是同時看了李東一眼。
上一篇：我家艺人太没上进心了
下一篇：挨打永久加防御，神魔都打不动我