作者：胖胖的小橘
……
六點半的時候，晚宴正式開始了。
服務員推著餐車從門口的側門進來。
宴會廳一共就兩桌，李東、高穩、李總坐在主桌。
旁邊幾個也是比較有分量的人。
包括裡雲那位副總裁，還有一個看起來像是某家做晶片的初創公司CEO的男人，也都坐在主桌上。
服務員退出去之後，話題自然而然就從最近的天氣、最近的政策，慢慢地飄到了“那玩意兒”上面。
“那玩意兒”
這是在場所有人對“GPT-3.5”心照不宣的稱呼。
最先開口的是裡雲AI那位副總裁，姓邱，叫邱明麗。
她端著酒杯，慢悠悠地說道。
“上個禮拜我們組裡專門搞了一個內部測試。”
“中文常識題、英文閱讀理解、程式碼生成、數學推理、長文本總結，五個方向，各出了二十道題。”
她嘆了口氣。
“五個方向，它都贏了。”
桌上一片沉默。
李總放下了筷子，眉頭皺著。
“贏得多嗎？”
邱明麗自嘲的笑了一聲。
“我就不說具體分數了，但差距……不小。”
“尤其是那種需要多步推理的題，我們這邊的模型基本上做到第三步就開始胡言亂語了。”
“它還能穩穩地往下推。”
“你把一道國內大學入學考試壓軸題扔給它，它就算做錯，它做錯的路子也是對的。”
“它是在認真地算錯，不是那種一看就知道在瞎編的錯。”
“這個東西，是我們目前的模型最缺的。”
那個戴眼鏡的男人放下了刀叉，慢慢地開口。
“邱總，我其實一直有個問題想請教。”
“GPT-3到GPT-3.5中間這一跳，到底關鍵是跳在哪兒的？”
“外面現在一提就是RLHF，好像那一套人類反饋就是所有答案。”
“但我總覺得沒那麼簡單。”
邱明麗笑了一下。
“你這個問題，問到點子上了。”
“RLHF這幾個字，最近被炒得有點太兇了。”
他用筷子頭在桌布上虛劃了一下。
“GPT-3到GPT-3.5，真正那一跳，不是RLHF。”
“是程式碼。”
桌上有人愣了一下。
“程式碼？”
邱明麗點頭。
“OpenAI中間悄悄幹了一件事。”
“他們在GPT-3的底座上，又灌了一輪超大規模的程式碼預訓練，內部叫code-davinci-002。”
“GitHub上能扒的高質量程式碼，加上一部分自然語言和程式碼混在一起的資料，一鍋燉進去。”
“灌完這一輪出來，模型的推理能力莫名其妙地就起來了。”
“不光是會寫程式碼了，你讓它做數學題、讓它做多步邏輯推理、讓它分析一段很長的論證，它突然就會想了。”
“業內現在把這個叫做程式碼帶出來的思維鏈。”
“程式碼這個東西是很嚴苛的，你少一個分號它就跑不了。”
“模型在海量程式碼上被反覆蹂躪過一遍之後，它對一步一步地把事情想清楚這件事，就有了一種別的語料給不了的感覺。”
邱明麗頓了一下，抿了一口酒。
“在這個底座上，再往上套指令微調、再往上套 RLHF那才有了ChatGPT。”
“但你要問跳在哪兒，我也只是個人猜測，最關鍵的一跳我覺得的是在程式碼預訓練那一步。”
“RLHF真正解決的問題，是怎麼讓這個聰明但是野的模型聽人話。”
“它解決的是對齊，不是智商。”
那個戴眼鏡的男人慢慢地點頭，若有所思。
邱明麗接著補了一句。
“當然RLHF那一套也不是簡單東西。”
“我們這邊要追這一套，標註員的培訓體系從零開始搭，至少得半年到一年才能進入狀態。”
桌上一片安靜。
李總端起杯子，輕輕晃了一下。
“我補一句。”
“我們家文心這邊，其實也不是從今年才開始搞的。”
“ERNIE 3.0 Titan兩年前就發了，2600億引數，中文那些經典榜單上咱們也不虛GPT-3。”
“真要說單純的中文語言理解，我們底子不差。”
李東一直沒有說話，但是他聽的很認真。
李總繼續說道。
“但這次3.5一出來，我自己心裡涼了一下。”
“涼不是涼在它中文比我們好，它中文其實還沒我們好。”
“主要是……它和我們根本不是在做同一件事。”
“我們之前那一代大模型，比的是這個句子的意思你理解得準不準、你分類的對不對、你完形填空填得好不好。”
“它比的是你能不能和人自然地聊天，聊的時候順手把一道題給做了、把一段程式碼給寫了。”
“後面這件事，是另一個維度上的能力。”
“不是我們原來那一套路線自然延伸能接上的。”
“我們內部這兩個月已經在趕下一版了。”
“對外的代號你們可能過一陣子就會聽到，這次我們是對著3.5去的。”
“但我跟你們交個底。”
“第一版出來的東西，和3.5之間，差距肯定還會有。”
“而且還不是那種一個月兩個月就能抹平的差距。”
氣氛沉了一會兒，邱明麗突然看向李東。
笑著開口。
“這位小兄弟一直沒說話啊。”
“還挺面生的。”
第216章 原來你也只是個會做白日夢的小孩
李東禮貌的把筷子放了下來。
“邱總您好，我是高老師的學生，李東。”
邱明麗愣了一下。
然後就有些驚喜的說道。
“你就是李東？”
“那個降維演算法的李東？”
“我的天，你這也太年輕了吧。”
旁邊幾個原本沒對上號的，聽見“降維演算法”這四個字，也反應了過來，紛紛看向李東。
李東被這麼多雙眼睛盯著，多少有點不自在。
“邱總過獎了，我就是個大學生。”
“我就瞎搞的。”
李總在旁邊哈哈大笑。
“瞎搞？你這要是瞎搞，那我們這幫人全都白乾了。”
桌上一片善意的笑聲。
笑聲落下之後，邱明麗率先說道。
“李東啊，我特別想聽聽你的看法。”
“你看剛才咱們聊的，算力、資料……這些東西”
“那你心裡對‘怎麼追上去’這件事，有沒有什麼想法？”
說實話在座的人是真的想聽，畢竟李東演算法的去向他們不知道，不知道本身就很說明問題了。
所以他們對李東是特別的好奇的。
李東沉默了幾秒鐘。
老實講，他心裡其實並沒有什麼完整的能拿出來講的想法。
他只是……
只是想到了牛頓的小黑。
那玩意兒，怎麼看都不像是用現在這一套大語言模型的路子搞出來的。
他斟酌了一下措辭，慢慢開口。
“我沒什麼很專業的看法。”
“就是有個特別外行的問題，大家別笑我哈。”
桌上的人都笑著說不會的。
李東這才繼續說道。
“為什麼……人工智慧就一定要按照現在這種路子做呢？”
“我說的是，為什麼不能更接近人腦真正的工作方式？”
“你看，人腦大概有八百多億個神經元，每天大概就消耗二十瓦的功率。”
“但它能聽、能看、能想、能學、能在一秒鐘之內認出一張臉，還能在兩年之內學會一門語言。”
“而我們現在最先進的大模型……”
“訓練一次要燒幾千萬度電，推理一次也得調動一整個機房的卡。”
上一篇：我家艺人太没上进心了
下一篇：挨打永久加防御，神魔都打不动我