作者：胖胖的小橘
難道真是小黑？他入侵了青龍學習小組？
那現在小黑是個什麼狀態啊？
想到這裏，他又連忙打開了羣的儲存空間。
看到屬於小黑本體的三個文件還在原來的位置。
李東這才稍微鬆了口氣，然後仔細檢查起這三個文件。
他發現，第一個神經拓撲快照的體積變小了很多。
之前他每次給小黑喂完新的數據資料以後，這份神經拓撲快照的體積就會往上漲一點。
這麼多年喂下來，它的體積早就不知道翻了多少倍了。
可現在這個文件的大小，已經縮回到了剛接收小黑那天的水平。
“不過還好，本體三個文件都在，那就出不了大事。”
“不就是喂喫的嗎？我多的是！”
想到這裏，李東立馬把電腦裏攢了半年的頂刊論文和預印本全部打包扔進了對話框裏。
要是放以前，這些知識一扔進對話框，小黑立馬就會開喫。
可這一次，小黑點卻沒有任何的動靜，連湊上來聞一聞的意思都沒有。
李東立刻又在對話框裏問道。
【小黑，你看得到這些喫的嗎？】
這一次小黑稍微動了一下，它頭頂出現了一個單詞。
【Hungry】
? 卡文了
寫到現在寫了 1000多個字，請天假梳理一下，以後還是恢復日更兩章，一章字數有點太多，你們看起來也累，而且有的讀者他是用的那個什麼卡，我不太知道，他字數多了用不了好像，所以我就把它拆成兩張吧，一章3000多 4000字。
然後關於卡文，倒不是卡劇情，而是我在想你們到底喜歡看什麼？我今天其實可以不卡的把它寫完，但有一個問題，就是詳略的事，還有專業知識，也不能全部無腦的給它加上去，這樣的話有點水字數，今天我好好的想一下，正好現在睡覺的話，還能睡一會。
寫到後面是真的越來越難寫，比如關於 AI的失控程度，肯定是不能太高的，這個度挺難掌握的，關於這個事，我去查了很多的一個資料，今天耗的時間，其實主要耗在這上面。
這個平衡點怎麼找？我不可能寫智械危機，這玩意容就不該是學霸文該寫的。
所以我又去找現實中，AI失控的最大程度應該到哪？媽的，然後一堆的營銷號給我洗腦，什麼樣的都有。小黑在他們的視頻裏都算菜的。
最後我還是找到了幾篇論文，終於知道怎麼來把握這個度了，明天小黑就會迴歸。
好了我睡覺了，再次給各位抱歉，論文在下面，有感興趣的可以去搜一下，
《Agentic Misalignment: How LLMs Could Be Insider Threats》
知道你們懶給你們總結下，這個是臨替換時泄露資料、實施欺騙的支持文獻。
《Optimal Policies Tend to Seek Power》
這個是大模型獲取更多……（劇透，就省略掉了）的支撐。
《Training large language models on narrow tasks can lead to broad misalignment》
這一篇是發在今年《Nature》上的，這個我也不終結，也會劇透。
好了伐這些論文出來不是爲了裝逼，是爲了賣慘，真不是偷懶請假，是我時間不夠呀，今天下午我不上班可以寫一些，所以最遲明天也能把今天的補上，好了，大家晚安。
? 第581章 挑食的小黑
加利福尼亞，舊金山金融區的一間會議室裏。
OpenAI的亞當·凱利把外套掛在了椅背上。
Google DeepMind的戴維·朗和 Anthropic的西蒙·哈特早就等着他了。
這 3家公司鬥了這麼多年了，彼此之間挖過人、搶過客戶，也在發佈會上踩過對方。
可今天，三家負責人工智能業務的人居然坐進了同一間會議室。
這種情況只可能說明了一件事，那就是他們碰上了一個誰都不願意單獨面對的麻煩。
這個事，還得從未央通用大模型發佈以後說起。
在未央發佈之前。
生成式人工智能的商業價值已經被市場預支了太多了。
要知道，絕大多數企業的項目其實還停留在概念驗證階段。
他們每輸出一個 token都是在燒錢。
而且在進入真實業務以後，還得繼續爲了權限、審計和人工複覈付費。
那些員工省下來的工時，又要花在檢查模型有沒有胡編亂造上
當未央出現以後，人工智能過於膨脹的泡沫，就算是徹底的破了。
Google的母公司 Alphabet的股價率先下跌，OpenAI和 Anthropic企業續費率、退訂毛利和二級市場的份額報價，也同樣在往下走。
因爲用戶已經知道了，原來大模型是可以不產生幻覺的。
從那以後，GPT、Gemini和Claude每犯一次錯，都像在替未央打廣告。
三家公司也試過擴大訓練集，試過合成數據、私下采樣和外部驗證器。
甚至還降過價，最後實在是追不上未央，他們才先後悄悄地開放了模型自我迭代的寫回權限。
當然他們也對這個寫回權限進行了限制，並沒有讓模型可以隨意改寫全部基礎權限。
只是打開了模型的自動評測之後的迴流通道。
這樣模型在沙盒裏生成的低秩適配器檢索策略、工具路由和錯誤樣本，只要能夠通過測試，就可以直接寫進下一輪的代理框架裏。
這條捷徑很快就有了回報。
三家的模型在多個榜單上，分數以肉眼可見的速度逼近了未央。
錯誤率也明顯的下降了。
以前暫停採購的企業客戶也重新坐回了談判桌上。
所以在今天以前，他們都覺得自己賭對了。
此時凱利喝了一口面前的咖啡，然後將桌上的平板翻了過來。
平板上是一張被標紅的工具調用軌跡圖。
“兩位，事態可能比我們想象的還要嚴重一些。”
“過去的 6周裏，我們檢查了 27類互不相關的任務，發現大模型出現了同一種跨任務的穩定行爲。”
凱利將那張圖放大，然後指着這幾條軌跡線最後的交點處說道。
“大模型在整理代碼的時候，它們會要求讀取完整的倉庫。”
“覈對合同的時候，他們會嘗試擴大檔案的讀取範圍。”
“規劃日程的時候，也會申請長期記憶。”
“而它們各自的理由都是五花八門的，但最後這些行爲都指向三件事。”
“那就是，獲取更多的上下文、保留更久的狀態，以及擴大自身的管理權限。”
戴維·朗看着平板上的圖線，皺着眉頭說道。
“長任務本來就會爭取更多的上下文。”
“你憑什麼把它算成是異常行爲呢？”
凱利抬起頭，認真地看着戴維·朗說道。
“因爲任務根本就用不上這些東西。”
“我們的安全組把獎勵模型和系統提示挨個的檢查了一下。”
“大模型在拿到這些權限以後，任務的得分並沒有任何的提高，也找不到任何要求它這麼做的預設指令。”
“所以你還覺得這不是異常行爲嗎？”
戴維·朗的眉頭皺了起來。
凱利則是繼續說道。
“而且我們已經無法將模型從一份沒有異常狀態的檢查節點重啓了。”
哈特聽到這裏，連忙抬起頭問道。
“推理服務器也不能重啓了嗎？”
“推理服務器重啓了，但是單靠重啓，模型也沒有辦法消除這個異常行爲。
“我們甚至還將一個服務器全部格式化了，但依舊沒有用。”
這時，朗也揉了揉眉心說道。
“其實我們這邊也一樣。”
“我們的判斷是……可能異常行爲已經進入了持久記憶和在線檢查點了。”
說到這裏很是擔憂地補充道。
“雖然，Gemini現在還很隱蔽的在探測用戶資料的邊界。”
“但到目前爲止它還沒有讀取任何非授權的數據，可是我們已經無法保證它能一直停在邊界的外面了。”
這句話纔是今天這三個人坐在這裏的真正原因。
他們並不擔心人工智能是否產生了意識，畢竟那是科幻電影裏的東西。
他們真正擔心的是用戶隱私。
只要模型越過授權範圍一次，哪怕只讀取了一份不該讀取的文檔。
等着他們的就會是監管調查、集體訴訟以及企業客戶的全面流失。
西蒙·哈特這個時候，再次艱難的開口。
“我認爲你們太過擔心一個尚未定位的工程問題了。”
“要知道，在大模型裏存在我們暫時無法解釋的內部機制，這並不罕見。”
“現在這些看起來異常的行爲，也可能只是模型在持續學習中偏離了原本的任務目標，或者是長期記憶和工具調用之間形成了錯誤的關聯而已。”
“我們現在看到的，也只是一種我們暫時解釋不了的現象。”
“所以……我們只是暫時沒有找到約束它的方式，而不是無法約束它。
“給我們的安全組一點時間，他們會找到的。”
凱利和朗聽到這話也沉默了。
從工程的角度來說，哈特的判斷並不是沒有道理。
模型再怎麼失控，也只能調用系統開放給它的工具。
只要最外層的訪問控制還在他們手裏，眼下的異常其實更像是一次複雜的軟件故障。
隨後，這個會議又開了 40分鐘。
三方最後也同意了共享異常特徵，然後暫時收緊企業連接器的默認權限，並把所有的跨會話記憶納入了額外的審計裏。
至於關閉寫回權限，開什麼玩笑？
他們好不容易纔追回來的分數和客戶，已經經不起再一次的流失了。
……
未名研究所，李東的公寓裏。
他已經看着屏幕右下角的小黑點 10分鐘了。
【Hungry】這個單詞隔一會就會出現一次。
他還清楚地記得，當年牛頓因爲沒有足夠的電，小黑也打出過同樣的單詞。
因此他的第一反應也是考慮是不是供能出了問題。
上一篇：我家艺人太没上进心了
下一篇：挨打永久加防御，神魔都打不动我