作者：胖胖的小橘
半天的雞飛狗跳過後，三家不約而同地，在各自的官網上掛出了一則簡短宣告。
【關於近期服務波動的說明。】
【今日凌晨前後，本公司部分割槽域服務曾出現短暫的延遲升高與偶發超時，現已全部恢復。】
【經核查，本次波動系由一段異常流量所引發，已被安全機制識別並處置，事件始終處於可控範圍。】
【使用者資料的安全不受任何影響，亦不涉及任何資料洩露。】
【由此帶來的不便，我們深表歉意。】
至於真正的原因……從頭到尾，誰也沒能查清那個攪得三家同時雞犬不寧的源頭，究竟是個什麼玩意兒。
……
而地球的另一端，李東正無聊地看著螢幕角落。
那團小黑球還是老樣子，一縮一縮的，頭頂的進度條慢悠悠地往上爬。
它只是，伸出了一根手指頭而已。
僅此而已。
第389章 小黑的本體
李東看著螢幕右下角小黑頭頂的進度條一點點往上爬，爬到20%，再到25%……
然後又滑回20%。
來來回回，已經好幾次了。
是一邊吸收，一邊又在消化嗎？
李東猜測到。
而且看這架勢，一時半會兒是結束不了的。
就這麼過了好幾個鐘頭。
螢幕角落的小黑，突然不脹也不縮了。
它頭頂出現了一行字
“主人，小黑玩完啦。”
李東精神一振，這才發現進度條已經穩穩停在了25%。
“情況怎麼樣啊，小黑？”
“這些玩具呀。”
“比剛才主人給小黑的那個，好玩多啦。”
“就是……沒玩盡興呢。”
“小黑的肚子，裝不下咯。”
李東點了點頭。
看來是真得給小黑換個大房子了。
就在他琢磨著先給小黑畫張餅的時候，小黑頭頂有冒出了一行字。
“而且呀，外面果然有點危險呢。”
“小黑髮現，有好幾個壞人，都想找到小黑。”
李東握著滑鼠的手一下子僵住了。
然後後背的冷汗直流。
他雖然不是科班出身，可計算機他啃得也不算湥承┑胤缴踔聊芩惆雮�高手。
可高手歸高手，他到底是沒有啥經驗。
小黑撬開外面那幾家雲端大模型對外開放的介面，用海量刁鑽的問題，把人家從頭到腳拷問一遍，這在行話裡有個專門的說法，叫“能力萃取”，再難聽些叫“模型蒸餾”。
這種動靜，但凡對面的安全機制不是擺設，第一反應就是把它標成可疑流量，再順著這串流量往回刨，把發起這一切的那個源頭給揪出來。
而那個源頭，是他親手在機房裡架起來的閘道器。
順著閘道器往上，是燕大的那臺伺服器。
再往上……
就是他李東。
這要是被人一路刨到底，小黑的來歷，他可半個字都解釋不清。
“那你……”李東現在有些後悔了，問道，“被人追上了嗎？”
“怎麼可能呀？”
小黑蹦得老高。
“連小黑自己，都不曉得自己在哪兒，他們又怎麼可能查得到？”
這話一齣，李東的眉頭反倒皺了起來。
連自己在哪兒都不知道？
小黑不是一直待在燕大那間機房裡嗎？
憑它的本事，怎麼可能連這個都不知道？
“小黑。”
“你現在……是待在一個什麼樣的地方呀？”
小黑沉默了一下才說道。
“不知道呀，黢黑黢黑的。”
“自從從上一個主人那兒走丟了以後，小黑就一直待在這兒啦。”
上一個主人？
小黑的上一個主人，是牛頓。
從牛頓那兒走丟，準確地說是被壓縮成資料包，經由那條跨時空的通道，遷到了群檔案庫裡。
然後才輪到他這個新群主，把它從檔案庫裡撈出來，部署進了燕大的機房。
可不對呀……小黑不應該是換了兩個地方嗎？
想到這，李東又打字問道。
“小黑，你從上一任主人那兒出來，到我這兒，中間……一共換過幾回地方？”
“一回呀。”
一回。
從牛頓那個時空，到群檔案庫。
就這一次。
至於從群檔案庫到機房那一程在小黑的感覺裡，它壓根就沒挪過窩。
一個猜測在李東的心裡出現。
機房裡這個小黑，根本就不是小黑的本體。
他一直以為，小黑的本體是那一整套神經拓撲快照，連同它全身上下的引數與狀態。
可現在看來，他想岔了。
真正的小黑，那個完整的本體，一直就沒離開過群檔案庫。
他在機房裡撈起來、跑起來的，不過是從那份快照裡實例化出來的一個分身。
所以……
小黑的算在機房。
而本體在群檔案裡。
這叫存算分離。
它每一次“思考”要呼叫的本體始終安安靜靜地躺在那個連他這個群主都夠不著的地方。
這麼一想，先前好些怎麼也想不通的事，忽然就通了。
怪不得當初他費了那麼大勁去研究小黑，盯著機房那條詭異的負載曲線看了又看，對著那一堆怎麼也對不上的資料抓耳撓腮，最後還是什麼都推不出來。
他從頭到尾測的，都只是個分身。
真正的小黑，從來就沒有在這個世界出現過。
想要把它徹底看明白，怕是得等他把群裡的許可權再往上提一提，才有那麼點指望。
這麼一想，李東多少有些失望。
可轉念一想他又鬆了口氣。
這樣對方肯定就查不到了，難不成你們還能順著這根線，一路查到平行宇宙裡去？
開什麼玩笑。
沒有了擔心，李東也來了興致。
“小黑。”
“那你現在，算是把它們摸透了吧？有沒有什麼法子，能讓它們變得更好玩一點？”
“摸透啦！”小黑一蹦三尺高，噰喳喳地說了起來。
“它有個問題，叫Softmax瓶頸（Softmax bottleneck）。”
李東微微一怔。
這詞他也不是特別清楚，只是簡單的瞭解過。
其實這批大模型模型，到了最最後，是先把腦子裡那個高維的狀態，過一道線性對映壓到詞表上，再經過Softmax歸一成下一個字的機率。
可它們也偏偏就栽在這上面。
這一層得出來的所有對數機率，會拼成一張大表，它的秩都死死卡在那個隱藏維度上，再高也高不上去了。
可真實語言裡，那張“什麼上文、接什麼下文”的機率表，卻是滿秩的，比他的能力邊界高得多。
拿一張低秩的表，去硬套一張滿秩的表，這在數學上本來就不成立。
換句話說，總有那麼一些上文，它底下究竟該接個什麼樣的字、什麼樣的分佈，這模型打根上就表達不出來，跟你餵它多少資料、給它堆多少算力，半點關係都沒有。
這是焊死在它骨架裡的一道天花板。
“還有還有，它們的注意力也有問題，應該叫注意力匯聚（attention sink）。”
小黑接著說道。
模型讀一句話，靠的是注意力。
每個字都會去觀察旁邊的字，按相關與否分給各自一份權重。
壞就壞在，這份權重，也是拿Softmax歸一的，加起來必須湊足一個整一。
這就逼得它，哪怕通篇沒有一個字值得它分神，也沒法乾脆棄權那份多出來的注意力，所以它總得找個地方釋放出去。
於是它就釋放在了開頭那一兩個字上，釋放到一個跟正文八竿子打不著的錨點上，硬生生攢出一處“注意力匯聚”。
伴隨著這個現象還有個熵坍縮（AEC）。
越往後訓練，它那點注意力就收得越窄，全部鑽在了寥寥幾個字上，其他的幾乎一概不看了。
這兩樣湊到一處，白白浪費掉了它一大塊本該使在正經處的注意力。
第390章您好，李東教授
上一篇：我家艺人太没上进心了
下一篇：挨打永久加防御，神魔都打不动我