中文字幕亚洲欧美日韩在线不卡,亚洲欧美日产综合在线网性色,思思久久精品6一本打道,综合视频中文字幕

新智元報(bào)道

編輯：LRS 好困

【新智元導(dǎo)讀】從ChatGPT來看，符號(hào)主義和連接主義該如何發(fā)展？

"],[20,"，大量數(shù)據(jù)組成數(shù)據(jù)集?；谠摂?shù)據(jù)集通過監(jiān)督學(xué)習(xí)的方式對(duì)","31:3"],[20,"GPT-3.5"],[20,"模型進(jìn)行微調(diào)，微調(diào)后得到的模型暫稱為","31:3"],[20,"GPT-3.X"],[20,"。","31:3"],[20,"\n","24:\"X7SX\"|direction:\"ltr\""],[20,"\n","24:\"ELTu\"|direction:\"ltr\""],[20,"\tStep2"],[20,"：隨機(jī)采樣一些","31:3"],[20,"prompt"],[20,"（大部分在","31:3"],[20,"step1"],[20,"中被采樣過），針對(duì)每一個(gè)","31:3"],[20,"prompt"],[20,"通過","31:3"],[20,"GPT-3.X"],[20,"生成","31:3"],[20,"K"],[20,"個(gè)回答（","31:3"],[20,"K>=2"],[20,"）。","31:3"],[20,"\n","24:\"kgiy\"|direction:\"ltr\""],[20,"\n","24:\"RO7x\"|direction:\"ltr\""],[20,"Laber"],[20,"對(duì)","31:3"],[20,"K"],[20,"個(gè)回答進(jìn)行排序，大量排序后的對(duì)比數(shù)據(jù)可組成數(shù)據(jù)集，基于該數(shù)據(jù)集可訓(xùn)練出打分模型。","31:3"],[20,"\n","24:\"aJs9\"|direction:\"ltr\""],[20,"\n","24:\"v7f7\"|direction:\"ltr\""],[20,"\tStep3"],[20,"：采用強(qiáng)化學(xué)習(xí)策略","31:3"],[20,"PPO"],[20,"來迭代地更新","31:3"],[20,"GPT-3.X"],[20,"和打分模型，最終得到策略模型。由","31:3"],[20,"GPT-3.X"],[20,"初始化策略模型的參數(shù)，采樣一些在","31:3"],[20,"step1"],[20,"、","31:3"],[20,"step2"],[20,"中未被采樣過的","31:3"],[20,"prompt"],[20,"，通過策略模型產(chǎn)生輸出，由打分模型對(duì)輸出進(jìn)行打分。","31:3"],[20,"\n","24:\"Q2sc\"|direction:\"ltr\""],[20,"\n","24:\"h4vp\"|direction:\"ltr\""],[20,"根據(jù)打分產(chǎn)生的策略梯度來更新策略模型的參數(shù)進(jìn)而得到能力較強(qiáng)的策略模型。","31:3"],[20,"\n","24:\"V3zg\"|direction:\"ltr\""],[20,"\n","24:\"UA2f\""],[20,"讓較強(qiáng)的策略模型參與到","31:3"],[20,"step2"],[20,"中，通過","31:3"],[20,"laber"],[20,"排序標(biāo)注得到新的數(shù)據(jù)集，又可以更新得到更為合理的打分模型。","31:3"],[20,"\n","24:\"8ChL\"|direction:\"ltr\""],[20,"\n","24:\"U2ji\"|direction:\"ltr\""],[20,"更新的打分模型參與到","31:3"],[20,"step3"],[20,"中，又會(huì)得到更新的策略模型。迭代地進(jìn)行","31:3"],[20,"step2"],[20,"、","31:3"],[20,"step3"],[20,"，最終得到的策略模型即為","31:3"],[20,"ChatGPT"],[20,"。","31:3"],[20,"\n","24:\"dGus\"|direction:\"ltr\""],[20,"\n","24:\"j98v\"|direction:\"ltr\""],[20,{"gallery":"https://uploader.shimo.im/f/wukidSAEfGug0OhY.png!thumbnail"},"29:0|30:0|3:\"1920\"|4:\"auto\"|crop:\"\"|frame:\"none\"|ori-height:\"1285\"|ori-width:\"1920\""],[20,"\n","24:\"MxgY\"|direction:\"ltr\""],[20,"\t"],[20,"\n","24:\"URLS\"|direction:\"ltr\""],[20,"如果你不熟悉以上的語言，這里有一個(gè)容易理解的比喻：這就好比讓","31:3"],[20,"ChatGPT"],[20,"去學(xué)武功，人類的回應(yīng)就是大師的套路，","31:3"],[20,"GPT3.5"],[20,"是一個(gè)武術(shù)愛好者的套路，打分的神經(jīng)網(wǎng)絡(luò)就是一個(gè)評(píng)價(jià)者，告訴","31:3"],[20,"ChatGPT"],[20,"每場(chǎng)比賽誰的表現(xiàn)更優(yōu)秀。","31:3"],[20,"\n","24:\"rsLb\"|direction:\"ltr\""],[20,"\n","24:\"7e0z\"|direction:\"ltr\""],[20,"于是","31:3"],[20,"ChatGPT"],[20,"就能在第一次觀察人類大師和","31:3"],[20,"GPT3.5"],[20,"的比較中，在","31:3"],[20,"GPT3.5"],[20,"的基礎(chǔ)上往人類大師的方向改進(jìn)一點(diǎn)，接下來讓進(jìn)化一次后的","31:3"],[20,"ChatGPT"],[20,"作為武術(shù)愛好者參與到和人類大師的比較中，打分神經(jīng)網(wǎng)絡(luò)再次告訴它差距在哪，從而它能再次變得更優(yōu)。","31:3"],[20,"\n","24:\"W1hF\"|direction:\"ltr\""],[20,"\n","24:\"Ko2Y\"|direction:\"ltr\""],[20,"這和傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的差別是什么呢？","31:3"],[20,"\n","24:\"q9r0\"|direction:\"ltr\""],[20,"\n","24:\"hQnX\"|direction:\"ltr\""],[20,"傳統(tǒng)神經(jīng)網(wǎng)絡(luò)是直接讓一個(gè)神經(jīng)網(wǎng)絡(luò)模仿人類大師，而這個(gè)新模式是讓神經(jīng)網(wǎng)絡(luò)掌握一個(gè)已經(jīng)不錯(cuò)武術(shù)愛好者和大師的差別，這樣它能在已有的基礎(chǔ)上向人類大師的方向做細(xì)微的調(diào)整，不斷精進(jìn)。","31:3"],[20,"\n","24:\"lt6c\"|direction:\"ltr\""],[20,"\n","24:\"p3E3\""],[20,"從上面的原理上可以看到，這樣生成的大模型是以人類標(biāo)注樣本作為表現(xiàn)極限的。","31:3"],[20,"\n","24:\"b2tN\"|direction:\"ltr\""],[20,"\n","24:\"Xs1V\"|direction:\"ltr\""],[20,"也就是說它只是極限地掌握了人類標(biāo)注樣本的反應(yīng)模式，但不具備創(chuàng)造新反應(yīng)模式的能力；其次，作為一種統(tǒng)計(jì)類型的算法，樣本質(zhì)量會(huì)影響模型輸出的準(zhǔn)確性，這點(diǎn)是","31:3"],[20,"ChatGPT"],[20,"在介入搜索和咨詢場(chǎng)景的致命缺陷。","31:3"],[20,"\n","24:\"9Bfg\"|direction:\"ltr\""],[20,"\n","24:\"7PDj\"|direction:\"ltr\""],[20,"類似健康咨詢的需求是嚴(yán)謹(jǐn)?shù)?，這就不適合由這類模型獨(dú)立完成。","31:3"],[20,"\n","24:\"hWV9\"|direction:\"ltr\""],[20,"\n","24:\"Ow13\"|direction:\"ltr\""],[20,"而","31:3"],[20,"ChatGPT"],[20,"體現(xiàn)出的代碼能力和代碼評(píng)價(jià)能力來源于","31:3"],[20,"github"],[20,"上大量的代碼、代碼描述標(biāo)注、修改記錄，這個(gè)仍然是統(tǒng)計(jì)類算法可及的范疇。","31:3"],[20,"\n","24:\"UZpg\"|direction:\"ltr\""],[20,"\t"],[20,"\n","24:\"njDr\"|direction:\"ltr\""],[20,"\tChatGPT"],[20,"傳遞的一個(gè)很好的信號(hào)是，我們的確可以利用類似「人類劃重點(diǎn)」、「強(qiáng)化學(xué)習(xí)」等更多的思路提升「模型效率」。","31:3"],[20,"\n","24:\"KWhd\"|direction:\"ltr\""],[20,"\n","24:\"opFF\"|direction:\"ltr\""],[20,"「大」不再是和模型能力掛鉤的唯一指標(biāo)，比如","31:3"],[20,"13"],[20,"億參數(shù)的","31:3"],[20,"InstructGPT"],[20,"效果優(yōu)于","31:3"],[20,"175"],[20,"億參數(shù)的","31:3"],[20,"GPT-3"],[20,"。","31:3"],[20,"\n","24:\"vY0p\"|direction:\"ltr\""],[20,"\n","24:\"0209\"|direction:\"ltr\""],[20,"盡管如此，因?yàn)橛?xùn)練對(duì)運(yùn)算資源的消耗只是大模型的門檻之一，其次就是高質(zhì)量且大規(guī)模的數(shù)據(jù)，我們認(rèn)為早期的商業(yè)格局仍然是：大廠提供大模型的基礎(chǔ)設(shè)施建設(shè)，小廠基于此做超級(jí)運(yùn)用。而成為巨頭的小廠再去訓(xùn)練自己的大模型。","31:3"],[20,"\n","24:\"j5H4\"|direction:\"ltr\""],[20,"\t "],[20,"\n","24:\"xg0O\"|direction:\"ltr\""],[20,"符號(hào)和神經(jīng)的結(jié)合","31:3|8:1"],[20,"\n","24:\"ByLU\"|direction:\"ltr\""],[20,"\t "],[20,"\n","24:\"bIll\"|direction:\"ltr\""],[20,"\t"],[20,"我們認(rèn)為符合和神經(jīng)結(jié)合的潛力體現(xiàn)在兩點(diǎn)：在「骨頭」上訓(xùn)練「肉」，在「骨頭」上使用「肉」。","31:3"],[20,"\n","24:\"TrJh\"|direction:\"ltr\""],[20,"\n","24:\"CB9e\"|direction:\"ltr\""],[20,"\t"],[20,"如果表層樣本下蘊(yùn)含了強(qiáng)邏輯的脈絡(luò)（骨頭），比如前面對(duì)話訓(xùn)練的例子，語境要素就是骨頭，那么單純從表層樣本訓(xùn)練出包含骨頭的規(guī)律，代價(jià)是高昂的，體現(xiàn)在樣本的需求和更高模型訓(xùn)練的成本，也就是大模型的「大」上。","31:3"],[20,"\n","24:\"9q6v\"|direction:\"ltr\""],[20,"\n","24:\"dyQO\"|direction:\"ltr\""],[20,"如果我們以符號(hào)系統(tǒng)生成語境，作為神經(jīng)網(wǎng)絡(luò)的樣本輸入，就相當(dāng)于在強(qiáng)邏輯識(shí)別的背景條件上尋找規(guī)律，在“骨頭”上訓(xùn)練「肉」。","31:3"],[20,"\n","24:\"qZ1s\"|direction:\"ltr\""],[20,"\t "],[20,"\n","24:\"ONfs\"|direction:\"ltr\""],[20,"如果一個(gè)大模型是這么訓(xùn)練出來，那么它的輸出對(duì)強(qiáng)邏輯的條件是敏感的。","31:3"],[20,"\n","24:\"7MDX\"|direction:\"ltr\""],[20,"\n","24:\"Q2mZ\"|direction:\"ltr\""],[20,{"gallery":"https://uploader.shimo.im/f/lQHzndlu9aZ6DJb0.png!thumbnail"},"29:0|30:0|3:\"1200\"|4:\"auto\"|crop:\"\"|frame:\"none\"|ori-height:\"627\"|ori-width:\"1200\""],[20,"\n","24:\"vZCk\"|direction:\"ltr\""],[20,"\n","24:\"dwP6\"|direction:\"ltr\""],[20,"比如在對(duì)話生成任務(wù)上，我們?cè)谳斎爰尤雽?duì)話雙方的當(dāng)前情緒、動(dòng)機(jī)，聯(lián)想到的知識(shí)、相關(guān)事件，大模型生成的對(duì)話能一定幾率體現(xiàn)出對(duì)這些語境信息的反應(yīng)。這就是在強(qiáng)邏輯的「骨頭」上使用「肉」。","31:3"],[20,"\n","24:\"vmcI\"|direction:\"ltr\""],[20,"\t "],[20,"\n","24:\"Z1TO\"|direction:\"ltr\""],[20,"\t"],[20,"之前我們?cè)谂惆榧?jí)別","31:3"],[20,"AI"],[20,"的開發(fā)上遇到符號(hào)無法創(chuàng)造平滑對(duì)話的問題，如果用戶不愿意和","31:3"],[20,"AI"],[20,"對(duì)話，","31:3"],[20,"AI"],[20,"背后一切邏輯、情緒能力都無從展現(xiàn)，也不具備不斷優(yōu)化迭代的條件，我們通過類似上面和預(yù)訓(xùn)練模型的結(jié)合解決了對(duì)話的平滑性。","31:3"],[20,"\n","24:\"7Wgf\"|direction:\"ltr\""],[20,"\n","24:\"R20V\"|direction:\"ltr\""],[20,"而站在大模型的角度，單純大模型創(chuàng)造","31:3"],[20,"AI"],[20,"是缺乏整體性和立體感的。","31:3"],[20,"\n","24:\"oenr\"|direction:\"ltr\""],[20,"\t "],[20,"\n","24:\"Pufn\"|direction:\"ltr\""],[20,"\t「"],[20,"整體性","31:3"],[20,"」"],[20,"主要體現(xiàn)在對(duì)話生成是否考慮語境相關(guān)的長(zhǎng)期記憶。","31:3"],[20,"\n","24:\"Ck57\"|direction:\"ltr\""],[20,"\n","24:\"74g9\"|direction:\"ltr\""],[20,"比如","31:3"],[20,"AI"],[20,"和用戶在上一天的聊天中聊到用戶感冒，去過醫(yī)院，有各種癥狀，持續(xù)了多長(zhǎng)時(shí)間……；第二天用戶突然表達(dá)說「我喉痛好痛」。","31:3"],[20,"\n","24:\"tnif\"|direction:\"ltr\""],[20,"\n","24:\"cuTG\"|direction:\"ltr\""],[20,"在單純的大模型中，","31:3"],[20,"AI"],[20,"會(huì)拿語境中的內(nèi)容進(jìn)行回應(yīng)，會(huì)表達(dá)「為什么喉嚨痛啊」，「你去醫(yī)院了嗎」……，這些表達(dá)馬上和長(zhǎng)期記憶發(fā)生了矛盾，體現(xiàn)出長(zhǎng)期記憶不一致性。","31:3"],[20,"\n","24:\"knqp\"|direction:\"ltr\""],[20,"\t "],[20,"\n","24:\"iQG2\"|direction:\"ltr\""],[20,"\t"],[20,"通過和符號(hào)系統(tǒng)的結(jié)合","31:3"],[20,"AI"],[20,"可以通過聯(lián)想，從「用戶第二天還是喉嚨痛」聯(lián)想到「用戶昨天感冒」聯(lián)想到「用戶去過醫(yī)院」，「用戶其他癥狀」……把這些信息放到語境中，如此可以利用大模型的語境一致性能力體現(xiàn)出長(zhǎng)期記憶的一致性。","31:3"],[20,"\n","24:\"bDBk\"|direction:\"ltr\""],[20,"\t "],[20,"\n","24:\"A8ES\"|direction:\"ltr\""],[20,"\t「"],[20,"立體感","31:3"],[20,"」"],[20,"體現(xiàn)在","31:3"],[20,"AI"],[20,"是否有執(zhí)念。","31:3"],[20,"\n","24:\"tToS\"|direction:\"ltr\""],[20,"\n","24:\"ACqx\"|direction:\"ltr\""],[20,"是否會(huì)像人類一樣執(zhí)著于自己的情緒、動(dòng)機(jī)、觀念。單純大模型創(chuàng)造的","31:3"],[20,"AI"],[20,"會(huì)隨機(jī)提醒一個(gè)人應(yīng)酬少喝酒，而結(jié)合符號(hào)系統(tǒng)后會(huì)因?yàn)殚L(zhǎng)期記憶中知道用戶肝不好，結(jié)合肝不好不能喝酒的常識(shí)，生成強(qiáng)烈的持續(xù)的讓用戶不能喝酒的建議，并且在應(yīng)酬后跟進(jìn)用戶是否喝酒，且會(huì)因?yàn)橛脩舻牟蛔月捎绊懬榫w，從而影響后續(xù)的對(duì)話，這是立體感的體現(xiàn)。","31:3"],[20,"\n","24:\"QSVd\"|direction:\"ltr\""],[20,"\t"],[20," ","8:1"],[20,"\n","24:\"O1Nf\"|direction:\"ltr\""],[20,"大模型是通用人工智能嗎？","31:3|8:1"],[20,"\n","24:\"xzVv\"|direction:\"ltr\""],[20,"\t "],[20,"\n","24:\"IW58\"|direction:\"ltr\""],[20,"\t"],[20,"從預(yù)訓(xùn)練模型實(shí)現(xiàn)的機(jī)理看，它并沒有突破統(tǒng)計(jì)算法「掌握樣本規(guī)律」的能力范疇，只是借助計(jì)算機(jī)的載體優(yōu)勢(shì)，把這個(gè)能力發(fā)揮到一個(gè)非常高的水準(zhǔn)線，甚至體現(xiàn)出了它有一定邏輯能力和求解能力的假象。","31:3"],[20,"\n","24:\"B5kR\"|direction:\"ltr\""],[20,"\n","24:\"2C4O\"|direction:\"ltr\""],[20,"單純預(yù)訓(xùn)練模型不會(huì)擁有人類的創(chuàng)造力、帶有深度的邏輯推理能力、以及對(duì)復(fù)雜任務(wù)的求解能力。","31:3"],[20,"\n","24:\"HwOA\"|direction:\"ltr\""],[20,"\n","24:\"l1Bl\"|direction:\"ltr\""],[20,"所以預(yù)訓(xùn)練模型它因?yàn)榈统杀具w移到具體場(chǎng)景具有一定的通用性，但不具備人類那樣的「通過有限底層智能機(jī)制泛化出上層變化萬千智能表象」的通用智能。","31:3"],[20,"\n","24:\"Uf7S\"|direction:\"ltr\""],[20,"\t "],[20,"\n","24:\"nmjS\"|direction:\"ltr\""],[20,"\t"],[20,"其次我們要講講「涌現(xiàn)」，在大模型的研究中，研究者會(huì)發(fā)現(xiàn)當(dāng)模型參數(shù)規(guī)模和數(shù)據(jù)規(guī)模突破某些臨界值時(shí)，有些能力指標(biāo)迅速增強(qiáng)，呈現(xiàn)出涌現(xiàn)效應(yīng)。","31:3"],[20,"\n","24:\"bpGC\"|direction:\"ltr\""],[20,"\n","24:\"rp8Q\"|direction:\"ltr\""],[20,"事實(shí)上任何具有抽象學(xué)習(xí)能力的系統(tǒng)，都會(huì)顯現(xiàn)出「涌現(xiàn)」。","31:3"],[20,"\n","24:\"mHIw\"|direction:\"ltr\""],[20,"\n","24:\"m1Zp\"|direction:\"ltr\""],[20,"這個(gè)與抽象類運(yùn)算的本質(zhì)有關(guān)——「不執(zhí)著于個(gè)別樣本或猜想的正確性，而是立足于整體樣本或猜想的統(tǒng)計(jì)正確性」。","31:3"],[20,"\n","24:\"bls8\"|direction:\"ltr\""],[20,"\n","24:\"BM9a\"|direction:\"ltr\""],[20,"所以在樣本量足夠，且模型能支撐樣本細(xì)致規(guī)律的發(fā)現(xiàn)，就會(huì)突然形成某種能力。","31:3"],[20,"\n","24:\"VbyY\"|direction:\"ltr\""],[20,"\n","24:\"zLuL\"|direction:\"ltr\""],[20,"在偏符號(hào)的思維工程中，我們看到符號(hào)類","31:3"],[20,"AI"],[20,"在學(xué)習(xí)語言的過程也會(huì)像人類幼兒的語言習(xí)得那樣出現(xiàn)「涌現(xiàn)」，在聽讀到了一定程度，聽讀的理解力和說的能力會(huì)突飛猛進(jìn)。","31:3"],[20,"\n","24:\"pv4j\"|direction:\"ltr\""],[20,"\n","24:\"Y5RR\"|direction:\"ltr\""],[20,"總之，我們把涌現(xiàn)作為一個(gè)現(xiàn)象是沒問題的，但把所有不清楚機(jī)理的系統(tǒng)功能突變都解釋為涌現(xiàn)，并指望一個(gè)單純算法的規(guī)模到一定程度就能涌現(xiàn)出人類的整體智能，這不是一個(gè)嚴(yán)謹(jǐn)?shù)目茖W(xué)態(tài)度。","31:3"],[20,"\n","24:\"qo5v\"|direction:\"ltr\""],[20," "],[20,"\n","24:\"f4UT\""],[20,"\t"],[20,"接下來我們就來講講通用人工智能。","31:3"],[20,"\n","24:\"00YZ\"|direction:\"ltr\""],[20,"\n","24:\"DzEe\"|direction:\"ltr\""],[20,"人工智能這個(gè)概念幾乎伴隨計(jì)算機(jī)的產(chǎn)生而產(chǎn)生，在那時(shí)是一個(gè)樸素的想法，把人類的智能移植到計(jì)算機(jī)中，這就是人工智能的起點(diǎn)，最早的人工智能概念指的就是「通用人工智能」。","31:3"],[20,"\n","24:\"9Sly\"|direction:\"ltr\""],[20,"\n","24:\"c3yX\"|direction:\"ltr\""],[20,{"gallery":"https://uploader.shimo.im/f/pEBrBRzxamBWYcL2.png!thumbnail"},"29:0|30:0|3:\"1200\"|4:\"auto\"|crop:\"\"|frame:\"none\"|ori-height:\"627\"|ori-width:\"1200\""],[20,"\n","24:\"VR5y\"|direction:\"ltr\""],[20,"\n","24:\"3A98\"|direction:\"ltr\""],[20,"人類的智能模式是通用智能，這種智能模式移植到計(jì)算機(jī)就是通用人工智能。","31:3"],[20,"\n","24:\"hUDZ\"|direction:\"ltr\""],[20,"\t "],[20,"\n","24:\"6Tfe\"|direction:\"ltr\""],[20,"\t"],[20,"之后出現(xiàn)了不少試圖再現(xiàn)人類智能機(jī)制的流派，但這些流派都沒有創(chuàng)造太出眾的成果，以至于","31:3"],[20,"Deepmind"],[20,"的杰出科學(xué)家強(qiáng)化學(xué)習(xí)的奠基人","31:3"],[20,"Rich Sutton"],[20,"強(qiáng)烈表達(dá)了一個(gè)觀點(diǎn)：","31:3"],[20,"\n","24:\"8zIy\"|direction:\"ltr\""],[20,"\n","24:\"qiEu\"|direction:\"ltr\""],[20,"從過去","31:3"],[20,"70"],[20,"年的人工智能研究中可以獲得的最大教訓(xùn)是：為了尋求在短期內(nèi)的作為，研究人員更傾向于利用人類對(duì)該領(lǐng)域的經(jīng)驗(yàn)和知識(shí)（模仿人類的機(jī)制），而從長(zhǎng)遠(yuǎn)來看，利用可擴(kuò)展的一般計(jì)算方法才是最終是有效的。","31:3"],[20,"\n","24:\"6HGJ\"|direction:\"ltr\""],[20,"\t "],[20,"\n","24:\"Lomi\"|direction:\"ltr\""],[20,"\t"],[20,"今天大模型的出眾成就佐證了他對(duì)「算法主義」的主張正確性，但不意味著「效法造物造人」創(chuàng)造智能體的路徑就一定是錯(cuò)的。","31:3"],[20,"\n","24:\"ZxrX\"|direction:\"ltr\""],[20,"\n","24:\"2fuo\"|direction:\"ltr\""],[20,"那么為什么之前效法人類的流派都相繼受挫呢？這和人類智能內(nèi)核的","31:3"],[20,"整體性","31:3|8:1"],[20,"有關(guān)。","31:3"],[20,"\n","24:\"ykc5\"|direction:\"ltr\""],[20,"\t "],[20,"\n","24:\"Hhve\"|direction:\"ltr\""],[20,"\t"],[20,"簡(jiǎn)單來說人類的語言、認(rèn)知、情緒決策、和學(xué)習(xí)能力形成的子系統(tǒng)在大多任務(wù)的實(shí)現(xiàn)上都是相互支持的，沒有任何一個(gè)子系統(tǒng)可以獨(dú)立跑起來。","31:3"],[20,"\n","24:\"N1Na\"|direction:\"ltr\""],[20,"\n","24:\"um6H\"|direction:\"ltr\""],[20,"作為一個(gè)整體性很高的系統(tǒng)，一個(gè)上層的表象來自諸多底層機(jī)制的配合，只要有一個(gè)有缺陷，就會(huì)影響這個(gè)表層效果的顯現(xiàn)。","31:3"],[20,"\n","24:\"pdPp\"|direction:\"ltr\""],[20,"\n","24:\"hMfZ\"|direction:\"ltr\""],[20,"就好比人體，也是一個(gè)復(fù)雜性很高的系統(tǒng)，一個(gè)健康的人和一個(gè)生病的人可能相差細(xì)微，但這個(gè)細(xì)微的病理差異就讓一個(gè)人各個(gè)維度的功能受到抑制。","31:3"],[20,"\n","24:\"oN6a\"|direction:\"ltr\""],[20,"\n","24:\"KEjc\"|direction:\"ltr\""],[20,"同樣對(duì)于通用人工智能可能前面","31:3"],[20,"99"],[20,"步顯現(xiàn)的效果是很有限的，當(dāng)我們完成最后一片拼圖，前面","31:3"],[20,"99"],[20,"步該有的功能才顯現(xiàn)出來。","31:3"],[20,"\n","24:\"uYxP\"|direction:\"ltr\""],[20,"\n","24:\"7dnX\"|direction:\"ltr\""],[20,"之前的流派都從自己的視角看到了人類智能整體的一部分，也在效法人類中取得了一定成果，但這相比整體系統(tǒng)能釋放的能量而言只是零頭的零頭。","31:3"],[20,"\n","24:\"91w5\"|direction:\"ltr\""],[20,"\t "],[20,"\n","24:\"oW5A\"|direction:\"ltr\""],[20,"過程智能和人類文明","31:3|8:1"],[20,"\n","24:\"EHtf\"|direction:\"ltr\""],[20,"\t "],[20,"\n","24:\"HiGz\"|direction:\"ltr\""],[20,"\t"],[20,"人類每個(gè)局部智能已經(jīng)或正在被計(jì)算機(jī)遠(yuǎn)遠(yuǎn)超越，但即使在所有局部智能都被計(jì)算機(jī)超越的情況下，我們?nèi)匀荒軘嘌晕ㄓ腥祟惸軇?chuàng)造文明，計(jì)算機(jī)只是工具。","31:3"],[20,"\n","24:\"Vzer\"|direction:\"ltr\""],[20,"\n","24:\"uoPn\"|direction:\"ltr\""],[20,"為什么？","31:3"],[20,"\n","24:\"W4Ew\"|direction:\"ltr\""],[20,"\n","24:\"xRHe\"|direction:\"ltr\""],[20,"因?yàn)閯?chuàng)造文明背后的是人類各類智能活動(dòng)的過程，也就是說人類文明來自于「過程智能」。這是在當(dāng)前被嚴(yán)重忽略的方向。","31:3"],[20,"\n","24:\"kKL0\"|direction:\"ltr\""],[20,"\t "],[20,"\n","24:\"zenH\"|direction:\"ltr\""],[20,"「認(rèn)知過程」不是一個(gè)任務(wù)，它是很多任務(wù)在一個(gè)過程的組織。","31:3"],[20,"\n","24:\"XJ9I\"|direction:\"ltr\""],[20,"\n","24:\"IPmE\"|direction:\"ltr\""],[20,"比如","31:3"],[20,"AI"],[20,"要治愈患者體現(xiàn)出的癥狀，是個(gè)「目標(biāo)求解」的任務(wù)。","31:3"],[20,"\n","24:\"WufA\"|direction:\"ltr\""],[20,"\n","24:\"gWp4\"|direction:\"ltr\""],[20,"首先要轉(zhuǎn)為歸因求解，這算是一個(gè)認(rèn)知任務(wù)，它找到可能的原因后就變?yōu)榕袛嗫赡芗膊∈欠癜l(fā)生的「具體事件發(fā)生求解」的任務(wù)，這個(gè)任務(wù)又會(huì)繼續(xù)分解轉(zhuǎn)移到其他任務(wù)，過程中如果缺少知識(shí)又會(huì)變?yōu)閷?duì)「知識(shí)的求解」的任務(wù)。","31:3"],[20,"\n","24:\"G4Od\"|direction:\"ltr\""],[20,"\n","24:\"xzcA\"|direction:\"ltr\""],[20,"可以通過詢問、搜索、閱讀去獲得已有知識(shí)，也可以「統(tǒng)計(jì)認(rèn)知」；統(tǒng)計(jì)認(rèn)知發(fā)現(xiàn)相關(guān)性后可以進(jìn)一步去洞察背后的因果鏈條實(shí)現(xiàn)更好的干預(yù)，而到了這步往往又會(huì)因?yàn)槿鄙僦R(shí)轉(zhuǎn)為對(duì)知識(shí)的求解，為了驗(yàn)證猜想需要設(shè)計(jì)實(shí)驗(yàn)進(jìn)行具體事件發(fā)生求解……","31:3"],[20,"\n","24:\"L3zz\"|direction:\"ltr\""],[20,"\n","24:\"Krl1\"|direction:\"ltr\""],[20,"有了因果鏈條后，就可以再次嘗試實(shí)現(xiàn)目標(biāo)，進(jìn)行因果鏈條干預(yù)，把原始目標(biāo)轉(zhuǎn)為創(chuàng)造、終止、阻止發(fā)生、維持因果鏈條中的事件，這又回到了一類「目標(biāo)求解」的過程……","31:3"],[20,"\n","24:\"xgSO\"|direction:\"ltr\""],[20,"\n","24:\"vtND\"|direction:\"ltr\""],[20,{"gallery":"https://uploader.shimo.im/f/QJmCvww40F7WXejg.png!thumbnail"},"29:0|30:0|3:\"1280\"|4:\"auto\"|crop:\"\"|frame:\"none\"|ori-height:\"720\"|ori-width:\"1280\""],[20,"\n","24:\"Q7pP\"|direction:\"ltr\""],[20,"\t "],[20,"\n","24:\"oK4y\"|direction:\"ltr\""],[20,"從這個(gè)角度來看，類似","31:3"],[20,"ChatGPT"],[20,"的技術(shù)是用來實(shí)現(xiàn)任務(wù)的，偏符號(hào)的通用人工智能框架是把這些局部的任務(wù)能力組織起來支持類似人類的智能活動(dòng)的過程的。","31:3"],[20,"\n","24:\"Q479\"|direction:\"ltr\""],[20,"\n","24:\"s5Tw\"|direction:\"ltr\""],[20,"通用人工智能是「人」的本體它可以利用內(nèi)化的能力，外化的工具完成任務(wù)，并組織這些任務(wù)支持智能活動(dòng)的過程。","31:3"],[20,"\n","24:\"6VM1\"|direction:\"ltr\""],[20,"\t "],[20,"\n","24:\"VjmB\"|direction:\"ltr\""],[20,"\t"],[20,"人類有很強(qiáng)的羊群效應(yīng)，一個(gè)處于高產(chǎn)出期的流派會(huì)吸引絕大部分的研究者。","31:3"],[20,"\n","24:\"VSdr\"|direction:\"ltr\""],[20,"\n","24:\"TH3o\"|direction:\"ltr\""],[20,"很少獨(dú)立反思一個(gè)技術(shù)路徑天然的能力邊界，以及獨(dú)立在宏觀的層面尋找有更大價(jià)值的研究方向。","31:3"],[20,"\n","24:\"Wd5l\"|direction:\"ltr\""],[20,"\n","24:\"x9S7\"|direction:\"ltr\""],[20,"我們可以想象，如果我們能在計(jì)算機(jī)上去再現(xiàn)人類的整體智能，讓機(jī)器能支持起獨(dú)立探索認(rèn)知、創(chuàng)造工具、解決問題實(shí)現(xiàn)目標(biāo)的","31:3"],[20,"過程，","31:3|8:1"],[20,"借助計(jì)算機(jī)的載體優(yōu)勢(shì)，人類的整體智能和過程智能和以往一樣被放大，我們才能真正釋放出人工智能的能量，支撐人類文明到新的高峰。","31:3"]]" data-copy-origin="https://shimo.im">

近十年，連接主義者在各種深度學(xué)習(xí)模型加持下，借著大數(shù)據(jù)、高算力的東風(fēng)在人工智能賽道上領(lǐng)跑符號(hào)主義。

但每次有新的深度學(xué)習(xí)大模型發(fā)布，如近期火爆的ChatGPT，在對(duì)其強(qiáng)大的性能驚嘆贊揚(yáng)之后，就是對(duì)研究方法本身的激烈討論，模型本身的漏洞與缺陷也會(huì)浮現(xiàn)。

最近，來自北冥實(shí)驗(yàn)室的錢小一博士，作為一個(gè)堅(jiān)持十年符號(hào)流派的科學(xué)工作者、創(chuàng)業(yè)者，針對(duì)ChatGPT模型發(fā)表了一篇較為冷靜和客觀的評(píng)價(jià)。

總體而言，我們認(rèn)為ChatGPT是一個(gè)里程碑式事件。 預(yù)訓(xùn)練模型開始顯現(xiàn)出強(qiáng)大效果一年前就開始了，這次到了一個(gè)新高度，從而被更多人關(guān)注；而這個(gè)里程碑之后，人類自然語言相關(guān)的很多工作模式會(huì)開始改變，甚至有大量被機(jī)器替代。 沒有技術(shù)是一蹴而就的，相比看到其不足，一個(gè)科學(xué)工作者更應(yīng)該對(duì)其潛力有敏感性。

作者簡(jiǎn)介

作者錢小一博士是符號(hào)主義人工智能科學(xué)家，高級(jí)工程師，杭州市高層次認(rèn)定人才，邏輯仿生framework 的早期探索者，第一版 M 語言符號(hào)體系的創(chuàng)作者。北冥星眸創(chuàng)始人、CEO、董事長(zhǎng)。

上海交通大學(xué)應(yīng)用經(jīng)濟(jì)學(xué)博士，美國(guó) CGU 德魯克商學(xué)院金融工程碩士，浙江大學(xué)竺可楨學(xué)院丘成桐數(shù)學(xué)英才班數(shù)學(xué)金融雙學(xué)士。通用AI領(lǐng)域研究已有11年，帶領(lǐng)團(tuán)隊(duì)進(jìn)行工程實(shí)踐7年。

符號(hào)主義&連接主義的邊界

我們團(tuán)隊(duì)這次特別關(guān)注ChatGPT，不是因?yàn)榇蟊娍吹降捏@艷效果，因?yàn)楹芏嗫此企@艷效果我們還是能夠在技術(shù)層面理解的。

真正沖擊我們感官的是它部分任務(wù)中突破了符號(hào)流派和神經(jīng)流派的邊界——邏輯能力，在類似自代碼和評(píng)價(jià)代碼等若干任務(wù)中ChatGPT似乎體現(xiàn)了這種能力。

一直以來我們認(rèn)為符號(hào)流派是擅長(zhǎng)再現(xiàn)人類強(qiáng)邏輯的智能的，比如如何解決一個(gè)問題，分析一個(gè)問題的原因，創(chuàng)造一個(gè)工具等等；

而連接主義本質(zhì)是一個(gè)統(tǒng)計(jì)型的算法，是用來從樣本中發(fā)現(xiàn)平滑規(guī)律的，比如通過足夠多的人類對(duì)話找到下一句該說什么的規(guī)律；通過描述性的文字找到對(duì)應(yīng)的圖像的識(shí)別和生成的規(guī)律……

我們可以理解這些能力，可以通過更大的模型，更多優(yōu)質(zhì)的數(shù)據(jù)，強(qiáng)化學(xué)習(xí)循環(huán)增強(qiáng)的方式來變得非常出眾。

我們認(rèn)為人類身上兼有符號(hào)和神經(jīng)兩個(gè)技術(shù)路徑的特征，比如所有可反思認(rèn)知過程、知識(shí)的學(xué)習(xí)和運(yùn)用過程、大量可反思的思維、行為、表達(dá)模式、可反思的動(dòng)機(jī)、情緒都是容易在以符號(hào)表征為基礎(chǔ)系統(tǒng)解釋和再現(xiàn)。

當(dāng)你看得外國(guó)人臉足夠多，你就具有識(shí)別外國(guó)人臉的能力，你也說不清為什么；

能夠在看完第一個(gè)電視劇后自然而然具備模仿男主角說話的能力；

在經(jīng)歷過足夠多的對(duì)話后，能夠不過腦的聊天，這些都是神經(jīng)的特征。

我們可以把強(qiáng)邏輯的部分比喻為長(zhǎng)骨頭，「非邏輯的規(guī)律掌握能力」比喻成長(zhǎng)肉。

以符號(hào)「長(zhǎng)骨架」的能力去「長(zhǎng)肉」是困難的，同樣神經(jīng)以「長(zhǎng)肉」的能力去「長(zhǎng)骨架」也是艱難的。

正如我們?cè)谂惆锳I搭建過程中符號(hào)系統(tǒng)擅長(zhǎng)把握對(duì)話者特定維度的信息，分析背后的意圖，推知相關(guān)的事件，給出精準(zhǔn)的建議，但不擅長(zhǎng)創(chuàng)造平滑自然的對(duì)話。

我們也看到GPT為代表的對(duì)話生成模型雖然能創(chuàng)造平滑的對(duì)話，但在對(duì)話中使用長(zhǎng)期記憶創(chuàng)造連貫的陪伴、產(chǎn)生合理的情緒動(dòng)機(jī)、完成有一定深度的邏輯推理以給出分析建議，在這些方面的實(shí)現(xiàn)上是艱難的。

大模型的「大」并非是一個(gè)優(yōu)勢(shì)，而是統(tǒng)計(jì)類算法試圖從表層數(shù)據(jù)掌握一部分其內(nèi)蘊(yùn)的強(qiáng)邏輯主導(dǎo)的規(guī)律付出的對(duì)價(jià)，它體現(xiàn)了符號(hào)和神經(jīng)中間的邊界。

在對(duì)ChatGPT的原理有了更深入地了解后，我們發(fā)現(xiàn)它只是把較為單純的邏輯運(yùn)算視為一種規(guī)律訓(xùn)練生成，并沒有突破原有的統(tǒng)計(jì)算法的范疇——也就是系統(tǒng)的消耗仍然會(huì)隨著邏輯任務(wù)深度的增加幾何增長(zhǎng)。

但為何ChatGPT又能突破原有大模型的極限呢？

ChatGPT如何突破普通大模型的技術(shù)極限

讓我們以非技術(shù)的語言來說明ChatGPT如何突破其他大模型極限背后的原理。

GPT3在出現(xiàn)時(shí)就體現(xiàn)出了超越其他大模型的體驗(yàn)。這和自監(jiān)督，也就是數(shù)據(jù)的自標(biāo)注相關(guān)。

仍然以對(duì)話生成為例子：一個(gè)大模型以海量數(shù)據(jù)訓(xùn)練掌握了60輪對(duì)話和下一句表達(dá)的規(guī)律。

為何需要那么多數(shù)據(jù)呢？為何人類在看完一部電視劇后就可以模仿男主角的說話？

因?yàn)槿祟惒⒉皇且郧懊娑嗌佥唽?duì)話作為輸入去掌握下句說什么的規(guī)律，而是在主觀對(duì)話過程中形成了對(duì)語境的理解：表達(dá)者有人格品質(zhì)、有怎樣的當(dāng)前情緒、動(dòng)機(jī)，聯(lián)想到怎樣的知識(shí)，再加上前面若干輪的對(duì)話來掌握下句說什么的規(guī)律。

我們可以設(shè)想，如果大模型先去識(shí)別對(duì)話的語境要素，然后以此去生成下一句表達(dá)的規(guī)律，相比用原始對(duì)話，能大大減少達(dá)到同樣效果的數(shù)據(jù)需求。所以自監(jiān)督做得如何，是大模型「模型效率」的一個(gè)重要影響因素。

考察一個(gè)大模型服務(wù)是否在訓(xùn)練時(shí)對(duì)某類語境信息進(jìn)行了自標(biāo)注，可以通過考察對(duì)話生成是否對(duì)此類語境信息具有敏感性（生成的對(duì)話是否體現(xiàn)了對(duì)此語境信息的考慮）來判斷。

人工編寫期望的輸出是第二個(gè)發(fā)揮作用的點(diǎn)。

ChatGPT在若干類型的任務(wù)中使用了人工編寫輸出，用來微調(diào)已經(jīng)習(xí)得對(duì)話生成一般規(guī)律的GPT3.5的大模型。

這是預(yù)訓(xùn)練模型的精神——一個(gè)封閉場(chǎng)景的對(duì)話規(guī)律，實(shí)際上可能99%以上還是體現(xiàn)了人類對(duì)話生成的一般規(guī)律，而場(chǎng)景特有的規(guī)律只有不到1%。從而可以用一個(gè)訓(xùn)練好的掌握人類對(duì)話一般規(guī)律的大模型加上額外訓(xùn)練一個(gè)針對(duì)封閉場(chǎng)景的小模型達(dá)到效果，而用來訓(xùn)練場(chǎng)景特有規(guī)律的樣本可以很小。

接下來一個(gè)發(fā)揮作用的機(jī)制是ChatGPT融合了強(qiáng)化學(xué)習(xí)，整個(gè)過程大概是這樣的：

起始準(zhǔn)備：一個(gè)預(yù)訓(xùn)練模型（GPT-3.5），一群訓(xùn)練有素的laber，一系列prompt（指令或者是問題，收集于大量用戶的使用過程和laber的設(shè)計(jì)）。

Step1：隨機(jī)采樣得到大量的prompt，數(shù)據(jù)人員（laber）根據(jù)prompt提供規(guī)范的回復(fù)。數(shù)據(jù)人員可以將prompt輸入到GPT-3.5，參考模型的輸出來輔助其提供規(guī)范的答案。

通過該方式可收集到數(shù)據(jù)，大量數(shù)據(jù)組成數(shù)據(jù)集。

基于該數(shù)據(jù)集通過監(jiān)督學(xué)習(xí)的方式對(duì)GPT-3.5模型進(jìn)行微調(diào)，微調(diào)后得到的模型暫稱為GPT-3.X。

Step2：隨機(jī)采樣一些prompt（大部分在step1中被采樣過），針對(duì)每一個(gè)prompt通過GPT-3.X生成K個(gè)回答（K>=2）。

Laber對(duì)K個(gè)回答進(jìn)行排序，大量排序后的對(duì)比數(shù)據(jù)可組成數(shù)據(jù)集，基于該數(shù)據(jù)集可訓(xùn)練出打分模型。

Step3：采用強(qiáng)化學(xué)習(xí)策略PPO來迭代地更新GPT-3.X和打分模型，最終得到策略模型。由GPT-3.X初始化策略模型的參數(shù)，采樣一些在step1、step2中未被采樣過的prompt，通過策略模型產(chǎn)生輸出，由打分模型對(duì)輸出進(jìn)行打分。

根據(jù)打分產(chǎn)生的策略梯度來更新策略模型的參數(shù)進(jìn)而得到能力較強(qiáng)的策略模型。

讓較強(qiáng)的策略模型參與到step2中，通過laber排序標(biāo)注得到新的數(shù)據(jù)集，又可以更新得到更為合理的打分模型。

更新的打分模型參與到step3中，又會(huì)得到更新的策略模型。迭代地進(jìn)行step2、step3，最終得到的策略模型即為ChatGPT。

如果你不熟悉以上的語言，這里有一個(gè)容易理解的比喻：這就好比讓ChatGPT去學(xué)武功，人類的回應(yīng)就是大師的套路，GPT3.5是一個(gè)武術(shù)愛好者的套路，打分的神經(jīng)網(wǎng)絡(luò)就是一個(gè)評(píng)價(jià)者，告訴ChatGPT每場(chǎng)比賽誰的表現(xiàn)更優(yōu)秀。

于是ChatGPT就能在第一次觀察人類大師和GPT3.5的比較中，在GPT3.5的基礎(chǔ)上往人類大師的方向改進(jìn)一點(diǎn)，接下來讓進(jìn)化一次后的ChatGPT作為武術(shù)愛好者參與到和人類大師的比較中，打分神經(jīng)網(wǎng)絡(luò)再次告訴它差距在哪，從而它能再次變得更優(yōu)。

這和傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的差別是什么呢？

傳統(tǒng)神經(jīng)網(wǎng)絡(luò)是直接讓一個(gè)神經(jīng)網(wǎng)絡(luò)模仿人類大師，而這個(gè)新模式是讓神經(jīng)網(wǎng)絡(luò)掌握一個(gè)已經(jīng)不錯(cuò)武術(shù)愛好者和大師的差別，這樣它能在已有的基礎(chǔ)上向人類大師的方向做細(xì)微的調(diào)整，不斷精進(jìn)。

從上面的原理上可以看到，這樣生成的大模型是以人類標(biāo)注樣本作為表現(xiàn)極限的。

也就是說它只是極限地掌握了人類標(biāo)注樣本的反應(yīng)模式，但不具備創(chuàng)造新反應(yīng)模式的能力；其次，作為一種統(tǒng)計(jì)類型的算法，樣本質(zhì)量會(huì)影響模型輸出的準(zhǔn)確性，這點(diǎn)是ChatGPT在介入搜索和咨詢場(chǎng)景的致命缺陷。

類似健康咨詢的需求是嚴(yán)謹(jǐn)?shù)?，這就不適合由這類模型獨(dú)立完成。

而ChatGPT體現(xiàn)出的代碼能力和代碼評(píng)價(jià)能力來源于github上大量的代碼、代碼描述標(biāo)注、修改記錄，這個(gè)仍然是統(tǒng)計(jì)類算法可及的范疇。

ChatGPT傳遞的一個(gè)很好的信號(hào)是，我們的確可以利用類似「人類劃重點(diǎn)」、「強(qiáng)化學(xué)習(xí)」等更多的思路提升「模型效率」。

「大」不再是和模型能力掛鉤的唯一指標(biāo)，比如13億參數(shù)的InstructGPT效果優(yōu)于175億參數(shù)的GPT-3。

盡管如此，因?yàn)橛?xùn)練對(duì)運(yùn)算資源的消耗只是大模型的門檻之一，其次就是高質(zhì)量且大規(guī)模的數(shù)據(jù)，我們認(rèn)為早期的商業(yè)格局仍然是：大廠提供大模型的基礎(chǔ)設(shè)施建設(shè)，小廠基于此做超級(jí)運(yùn)用。而成為巨頭的小廠再去訓(xùn)練自己的大模型。

符號(hào)和神經(jīng)的結(jié)合

我們認(rèn)為符合和神經(jīng)結(jié)合的潛力體現(xiàn)在兩點(diǎn)：在「骨頭」上訓(xùn)練「肉」，在「骨頭」上使用「肉」。

如果表層樣本下蘊(yùn)含了強(qiáng)邏輯的脈絡(luò)（骨頭），比如前面對(duì)話訓(xùn)練的例子，語境要素就是骨頭，那么單純從表層樣本訓(xùn)練出包含骨頭的規(guī)律，代價(jià)是高昂的，體現(xiàn)在樣本的需求和更高模型訓(xùn)練的成本，也就是大模型的「大」上。

如果我們以符號(hào)系統(tǒng)生成語境，作為神經(jīng)網(wǎng)絡(luò)的樣本輸入，就相當(dāng)于在強(qiáng)邏輯識(shí)別的背景條件上尋找規(guī)律，在“骨頭”上訓(xùn)練「肉」。

如果一個(gè)大模型是這么訓(xùn)練出來，那么它的輸出對(duì)強(qiáng)邏輯的條件是敏感的。

比如在對(duì)話生成任務(wù)上，我們?cè)谳斎爰尤雽?duì)話雙方的當(dāng)前情緒、動(dòng)機(jī)，聯(lián)想到的知識(shí)、相關(guān)事件，大模型生成的對(duì)話能一定幾率體現(xiàn)出對(duì)這些語境信息的反應(yīng)。這就是在強(qiáng)邏輯的「骨頭」上使用「肉」。

之前我們?cè)谂惆榧?jí)別AI的開發(fā)上遇到符號(hào)無法創(chuàng)造平滑對(duì)話的問題，如果用戶不愿意和AI對(duì)話，AI背后一切邏輯、情緒能力都無從展現(xiàn)，也不具備不斷優(yōu)化迭代的條件，我們通過類似上面和預(yù)訓(xùn)練模型的結(jié)合解決了對(duì)話的平滑性。

而站在大模型的角度，單純大模型創(chuàng)造AI是缺乏整體性和立體感的。

「整體性」主要體現(xiàn)在對(duì)話生成是否考慮語境相關(guān)的長(zhǎng)期記憶。

比如AI和用戶在上一天的聊天中聊到用戶感冒，去過醫(yī)院，有各種癥狀，持續(xù)了多長(zhǎng)時(shí)間……；第二天用戶突然表達(dá)說「我喉痛好痛」。

在單純的大模型中，AI會(huì)拿語境中的內(nèi)容進(jìn)行回應(yīng)，會(huì)表達(dá)「為什么喉嚨痛啊」，「你去醫(yī)院了嗎」……，這些表達(dá)馬上和長(zhǎng)期記憶發(fā)生了矛盾，體現(xiàn)出長(zhǎng)期記憶不一致性。

通過和符號(hào)系統(tǒng)的結(jié)合AI可以通過聯(lián)想，從「用戶第二天還是喉嚨痛」聯(lián)想到「用戶昨天感冒」聯(lián)想到「用戶去過醫(yī)院」，「用戶其他癥狀」……把這些信息放到語境中，如此可以利用大模型的語境一致性能力體現(xiàn)出長(zhǎng)期記憶的一致性。

「立體感」體現(xiàn)在AI是否有執(zhí)念。

是否會(huì)像人類一樣執(zhí)著于自己的情緒、動(dòng)機(jī)、觀念。單純大模型創(chuàng)造的AI會(huì)隨機(jī)提醒一個(gè)人應(yīng)酬少喝酒，而結(jié)合符號(hào)系統(tǒng)后會(huì)因?yàn)殚L(zhǎng)期記憶中知道用戶肝不好，結(jié)合肝不好不能喝酒的常識(shí)，生成強(qiáng)烈的持續(xù)的讓用戶不能喝酒的建議，并且在應(yīng)酬后跟進(jìn)用戶是否喝酒，且會(huì)因?yàn)橛脩舻牟蛔月捎绊懬榫w，從而影響后續(xù)的對(duì)話，這是立體感的體現(xiàn)。

大模型是通用人工智能嗎？

從預(yù)訓(xùn)練模型實(shí)現(xiàn)的機(jī)理看，它并沒有突破統(tǒng)計(jì)算法「掌握樣本規(guī)律」的能力范疇，只是借助計(jì)算機(jī)的載體優(yōu)勢(shì)，把這個(gè)能力發(fā)揮到一個(gè)非常高的水準(zhǔn)線，甚至體現(xiàn)出了它有一定邏輯能力和求解能力的假象。

單純預(yù)訓(xùn)練模型不會(huì)擁有人類的創(chuàng)造力、帶有深度的邏輯推理能力、以及對(duì)復(fù)雜任務(wù)的求解能力。

所以預(yù)訓(xùn)練模型它因?yàn)榈统杀具w移到具體場(chǎng)景具有一定的通用性，但不具備人類那樣的「通過有限底層智能機(jī)制泛化出上層變化萬千智能表象」的通用智能。

其次我們要講講「涌現(xiàn)」，在大模型的研究中，研究者會(huì)發(fā)現(xiàn)當(dāng)模型參數(shù)規(guī)模和數(shù)據(jù)規(guī)模突破某些臨界值時(shí)，有些能力指標(biāo)迅速增強(qiáng)，呈現(xiàn)出涌現(xiàn)效應(yīng)。

事實(shí)上任何具有抽象學(xué)習(xí)能力的系統(tǒng)，都會(huì)顯現(xiàn)出「涌現(xiàn)」。

這個(gè)與抽象類運(yùn)算的本質(zhì)有關(guān)——「不執(zhí)著于個(gè)別樣本或猜想的正確性，而是立足于整體樣本或猜想的統(tǒng)計(jì)正確性」。

所以在樣本量足夠，且模型能支撐樣本細(xì)致規(guī)律的發(fā)現(xiàn)，就會(huì)突然形成某種能力。

在偏符號(hào)的思維工程中，我們看到符號(hào)類AI在學(xué)習(xí)語言的過程也會(huì)像人類幼兒的語言習(xí)得那樣出現(xiàn)「涌現(xiàn)」，在聽讀到了一定程度，聽讀的理解力和說的能力會(huì)突飛猛進(jìn)。

總之，我們把涌現(xiàn)作為一個(gè)現(xiàn)象是沒問題的，但把所有不清楚機(jī)理的系統(tǒng)功能突變都解釋為涌現(xiàn)，并指望一個(gè)單純算法的規(guī)模到一定程度就能涌現(xiàn)出人類的整體智能，這不是一個(gè)嚴(yán)謹(jǐn)?shù)目茖W(xué)態(tài)度。

通用人工智能

人工智能這個(gè)概念幾乎伴隨計(jì)算機(jī)的產(chǎn)生而產(chǎn)生，在那時(shí)是一個(gè)樸素的想法，把人類的智能移植到計(jì)算機(jī)中，這就是人工智能的起點(diǎn)，最早的人工智能概念指的就是「通用人工智能」。

人類的智能模式是通用智能，這種智能模式移植到計(jì)算機(jī)就是通用人工智能。

之后出現(xiàn)了不少試圖再現(xiàn)人類智能機(jī)制的流派，但這些流派都沒有創(chuàng)造太出眾的成果，以至于Deepmind的杰出科學(xué)家強(qiáng)化學(xué)習(xí)的奠基人Rich Sutton強(qiáng)烈表達(dá)了一個(gè)觀點(diǎn)：

從過去70年的人工智能研究中可以獲得的最大教訓(xùn)是：為了尋求在短期內(nèi)的作為，研究人員更傾向于利用人類對(duì)該領(lǐng)域的經(jīng)驗(yàn)和知識(shí)（模仿人類的機(jī)制），而從長(zhǎng)遠(yuǎn)來看，利用可擴(kuò)展的一般計(jì)算方法才是最終是有效的。

今天大模型的出眾成就佐證了他對(duì)「算法主義」的主張正確性，但不意味著「效法造物造人」創(chuàng)造智能體的路徑就一定是錯(cuò)的。

那么為什么之前效法人類的流派都相繼受挫呢？這和人類智能內(nèi)核的整體性有關(guān)。

簡(jiǎn)單來說人類的語言、認(rèn)知、情緒決策、和學(xué)習(xí)能力形成的子系統(tǒng)在大多任務(wù)的實(shí)現(xiàn)上都是相互支持的，沒有任何一個(gè)子系統(tǒng)可以獨(dú)立跑起來。

作為一個(gè)整體性很高的系統(tǒng)，一個(gè)上層的表象來自諸多底層機(jī)制的配合，只要有一個(gè)有缺陷，就會(huì)影響這個(gè)表層效果的顯現(xiàn)。

就好比人體，也是一個(gè)復(fù)雜性很高的系統(tǒng)，一個(gè)健康的人和一個(gè)生病的人可能相差細(xì)微，但這個(gè)細(xì)微的病理差異就讓一個(gè)人各個(gè)維度的功能受到抑制。

同樣對(duì)于通用人工智能可能前面99步顯現(xiàn)的效果是很有限的，當(dāng)我們完成最后一片拼圖，前面99步該有的功能才顯現(xiàn)出來。

之前的流派都從自己的視角看到了人類智能整體的一部分，也在效法人類中取得了一定成果，但這相比整體系統(tǒng)能釋放的能量而言只是零頭的零頭。

過程智能和人類文明

人類每個(gè)局部智能已經(jīng)或正在被計(jì)算機(jī)遠(yuǎn)遠(yuǎn)超越，但即使在所有局部智能都被計(jì)算機(jī)超越的情況下，我們?nèi)匀荒軘嘌晕ㄓ腥祟惸軇?chuàng)造文明，計(jì)算機(jī)只是工具。

為什么？

因?yàn)閯?chuàng)造文明背后的是人類各類智能活動(dòng)的過程，也就是說人類文明來自于「過程智能」。這是在當(dāng)前被嚴(yán)重忽略的方向。

「認(rèn)知過程」不是一個(gè)任務(wù)，它是很多任務(wù)在一個(gè)過程的組織。

比如AI要治愈患者體現(xiàn)出的癥狀，是個(gè)「目標(biāo)求解」的任務(wù)。

首先要轉(zhuǎn)為歸因求解，這算是一個(gè)認(rèn)知任務(wù)，它找到可能的原因后就變?yōu)榕袛嗫赡芗膊∈欠癜l(fā)生的「具體事件發(fā)生求解」的任務(wù)，這個(gè)任務(wù)又會(huì)繼續(xù)分解轉(zhuǎn)移到其他任務(wù)，過程中如果缺少知識(shí)又會(huì)變?yōu)閷?duì)「知識(shí)的求解」的任務(wù)。

可以通過詢問、搜索、閱讀去獲得已有知識(shí)，也可以「統(tǒng)計(jì)認(rèn)知」；統(tǒng)計(jì)認(rèn)知發(fā)現(xiàn)相關(guān)性后可以進(jìn)一步去洞察背后的因果鏈條實(shí)現(xiàn)更好的干預(yù)，而到了這步往往又會(huì)因?yàn)槿鄙僦R(shí)轉(zhuǎn)為對(duì)知識(shí)的求解，為了驗(yàn)證猜想需要設(shè)計(jì)實(shí)驗(yàn)進(jìn)行具體事件發(fā)生求解……

有了因果鏈條后，就可以再次嘗試實(shí)現(xiàn)目標(biāo)，進(jìn)行因果鏈條干預(yù)，把原始目標(biāo)轉(zhuǎn)為創(chuàng)造、終止、阻止發(fā)生、維持因果鏈條中的事件，這又回到了一類「目標(biāo)求解」的過程……

從這個(gè)角度來看，類似ChatGPT的技術(shù)是用來實(shí)現(xiàn)任務(wù)的，偏符號(hào)的通用人工智能框架是把這些局部的任務(wù)能力組織起來支持類似人類的智能活動(dòng)的過程的。

通用人工智能是「人」的本體它可以利用內(nèi)化的能力，外化的工具完成任務(wù)，并組織這些任務(wù)支持智能活動(dòng)的過程。

人類有很強(qiáng)的羊群效應(yīng)，一個(gè)處于高產(chǎn)出期的流派會(huì)吸引絕大部分的研究者。

很少獨(dú)立反思一個(gè)技術(shù)路徑天然的能力邊界，以及獨(dú)立在宏觀的層面尋找有更大價(jià)值的研究方向。

我們可以想象，如果我們能在計(jì)算機(jī)上去再現(xiàn)人類的整體智能，讓機(jī)器能支持起獨(dú)立探索認(rèn)知、創(chuàng)造工具、解決問題實(shí)現(xiàn)目標(biāo)的過程，借助計(jì)算機(jī)的載體優(yōu)勢(shì)，人類的整體智能和過程智能和以往一樣被放大，我們才能真正釋放出人工智能的能量，支撐人類文明到新的高峰。