期權(quán)行情交易界面如何看指標(biāo)?
2023-02-13
更新時間:2023-02-08 19:14:44作者:智慧百科
·ChatGPT背后的大規(guī)模預(yù)訓(xùn)練模型GPT-3.5能力強大,領(lǐng)先國內(nèi)大模型一個代差。國內(nèi)大模型百花齊放,如果要追趕并生產(chǎn)出類ChatGPT產(chǎn)品,首先要有能跟國際比肩的高性能基座模型,并在基座模型上優(yōu)化。與此同時要有長期投入的環(huán)境,解決高端GPU算力“卡脖子”問題。
·ChatGPT還存在不可避免的缺陷:常識缺失。究其原因,OpenAI在訓(xùn)練ChatGPT時,每一次進步都是算法+數(shù)據(jù)巧妙設(shè)計的結(jié)果,但這些訓(xùn)練過程都沒有考慮常識知識的加入。
ChatGPT的火爆,已經(jīng)引起了國內(nèi)AI界的熱烈討論。
“全能網(wǎng)友”ChatGPT火出圈,國際科技巨頭布局AI聊天機器人,國內(nèi)大小企業(yè)能否迎頭趕上?差距在哪?成立于2019年的人工智能企業(yè)北京智譜華章科技有限公司(下稱“智譜AI”)CEO張鵬2月7日對澎湃科技(www.thepaper.cn)表示,ChatGPT背后的大規(guī)模預(yù)訓(xùn)練模型GPT-3.5能力強大,領(lǐng)先國內(nèi)大模型一個代差。國內(nèi)大模型百花齊放,如果要追趕并生產(chǎn)出類ChatGPT產(chǎn)品,首先要有能跟國際比肩的高性能基座模型,例如類GPT-3模型。在基座模型上優(yōu)化,包括加入代碼的訓(xùn)練增強邏輯性,做監(jiān)督性的訓(xùn)練、強化學(xué)習(xí)的訓(xùn)練和用戶反饋的數(shù)據(jù)監(jiān)督訓(xùn)練,或許能得到與ChatGPT背后的模型相媲美的大模型。
西安中科創(chuàng)星科技孵化器有限公司(下稱“中科創(chuàng)星”)創(chuàng)始合伙人米磊認(rèn)為,國內(nèi)差距主要在于資金長期投入和投入環(huán)境上,“OpenAI(ChatGPT的創(chuàng)建者)從2015年開始研發(fā)至今,背后是堅持不懈的長期巨額資金投入,不管是熱還是冷,都堅持不斷創(chuàng)新。最后十年磨一劍,坐冷板凳把ChatGPT做出來了。”與此同時,當(dāng)前國內(nèi)面臨的高端GPU算力“卡脖子”問題仍然待解。
通用人工智能是指具有一般人類智慧,可以執(zhí)行人類能夠執(zhí)行的任何智力任務(wù)的機器智能。ChatGPT的出現(xiàn)能否說明人類已經(jīng)接近通用人工智能?張鵬認(rèn)為,它離真正的通用人工智能甚至認(rèn)知智能仍有距離。通過大規(guī)模預(yù)訓(xùn)練模型技術(shù),ChatGPT實現(xiàn)了部分認(rèn)知推理能力和內(nèi)容生成能力。但它仍然欠缺認(rèn)知中嚴(yán)謹(jǐn)?shù)闹R和邏輯,欠缺生成結(jié)果的可解釋性。
究其原因,OpenAI在訓(xùn)練ChatGPT的時候歷經(jīng)從最基礎(chǔ)的1750萬基座模型GPT-3到加入代碼的Code-Davinci-002再到加入了指令微調(diào)的InstructGPT,最后到最近加入強化學(xué)習(xí)的Text-Davinci-003和ChatGPT,每一次進步都是算法+數(shù)據(jù)巧妙設(shè)計的結(jié)果,但這些訓(xùn)練過程都沒有考慮常識知識的加入。因此對于認(rèn)知大模型,張鵬表示,或許可以通過加入記憶模塊和自我反思機制,實現(xiàn)進一步突破。
ChatGPT曾在誘導(dǎo)下寫出毀滅全人類的計劃書,因此需要考慮監(jiān)管問題。目前ChatGPT還存在不可避免的缺陷,暫時不太可能完全替代某一個職業(yè),但隨著用戶量的急劇增加,給ChatGPT的反饋信息越來越多,模型迭代訓(xùn)練后,張鵬表示,未來或可替代簡單重復(fù)、技術(shù)含量不大的工作?!翱傮w上,目前技術(shù)已經(jīng)跑在前頭了,安全、法律、道德等層面對它的約束和應(yīng)對還是要跟上。”
以下是澎湃科技與智譜AI首席執(zhí)行官張鵬、中科創(chuàng)星創(chuàng)始合伙人米磊的對話實錄。
【國內(nèi)大模型百花齊放,底層技術(shù)與國外有代差】
澎湃科技:最近ChatGPT很火,國際科技巨頭都在布局這塊。
張鵬(智譜AI首席執(zhí)行官):ChatGPT最近挺熱的,但其實這個事兒不是很新鮮,往前推已經(jīng)有幾年時間了,最早可以追溯到2018年左右開始做大規(guī)模預(yù)訓(xùn)練模型,2020年OpenAI發(fā)布了GPT-3語言模型,引起對生成式AI的關(guān)注。去年生成式AI的另一個頂峰是圖像生成模型的推出,引起了AIGC(人工智能生成內(nèi)容)領(lǐng)域的火熱。但背后的根本是大規(guī)模語言模型技術(shù),這個技術(shù)從國外起步,現(xiàn)在把這個模型推到了千億甚至萬億級別的規(guī)模之后會產(chǎn)生從量變到質(zhì)變的變化。GPT-3之后,國內(nèi)外的研究機構(gòu)、廠商開始追捧這個技術(shù),布局研發(fā)工作。
米磊(中科創(chuàng)星創(chuàng)始合伙人):ChatGPT確實是人工智能發(fā)展史上一個很大的突破,比較驚艷,標(biāo)志著人工智能發(fā)展從量變走向質(zhì)變。它是人工智能在繼互聯(lián)網(wǎng)浪潮中異軍突起之后一次大的性能提升,不僅可以直接干活提高生產(chǎn)效率,還能有很大的想象空間,超出了大家的預(yù)期,所以一下子就火了。從硬科技的視角來看,人工智能的底層技術(shù)可以分為算法、數(shù)據(jù)和算力,科技巨頭在這方面有明顯優(yōu)勢,無論是資源平臺,還是資金、人才,都占有先機。ChatGPT就是數(shù)據(jù)和算力結(jié)合的一個代表性創(chuàng)新案例。
澎湃科技:國內(nèi)目前的發(fā)展或追趕情況是怎樣的?
張鵬:ChatGPT火出圈確實有不太一樣的地方,它不是純研究,而是一個封裝得非常好的產(chǎn)品,而且選擇了聊天這樣一個泛用場景,所以引起非常廣泛的關(guān)注。
其實國內(nèi)還有其他一些廠家也在做這個事,目前還是百花齊放的狀態(tài)。比如百度文心,華為有盤古模型,字節(jié)跳動和達(dá)摩院也有自己的模型。這些模型大部分是語言模型,但也有一些多模態(tài)的模型,比如達(dá)摩院的M6模型是多模態(tài)的模型,它不光可以生成文本,也可以生成圖像。
但可能都限于某些比較小眾的應(yīng)用,所以沒有形成非常大規(guī)模的市場影響力。其次,深究下來,我們在底層技術(shù)上跟國外還有一定的代差,ChatGPT背后的GPT-3.5模型確實非常強,領(lǐng)先國內(nèi)大模型一個代差,在這點上還值得我們?nèi)プ汾s。
米磊:大模型是非常難的一個方向,對技術(shù)要求很高,投入也很大,所以國內(nèi)做這方面的初創(chuàng)企業(yè)并不多。技術(shù)上,跟國外比,國內(nèi)還是有一定差距,ChatGPT基本上可以商用了,但國內(nèi)也沒有那么弱。國內(nèi)在數(shù)據(jù)量、預(yù)訓(xùn)練模型、算法方面緊跟國際,做得還是很強的,中國也還是很有機會的。
澎湃科技:具體差距是什么?
張鵬:ChatGPT的能力源自于背后的基座模型,也就是大規(guī)模預(yù)訓(xùn)練模型。ChatGPT的基座模型是GPT-3,在GPT-3和ChatGPT之間還有一系列模型,也就是在GPT-3的基礎(chǔ)上做了很多改進和優(yōu)化,形成了GPT-3.5這樣的系列模型。這一系列模型的能力是ChatGPT能取得當(dāng)前這樣的效果的基礎(chǔ)。
GPT-3.5和GPT-3之間就是一個代差,國內(nèi)大量的工作大概是在GPT-3的水平甚至比GPT-3還差一些的水平,所以這就是我說的技術(shù)上的代差,國內(nèi)外的差距就在于模型的基礎(chǔ)性能上。
去年,斯坦福大學(xué)基礎(chǔ)模型研究中心的負(fù)責(zé)人Percy Liang等開展了一項研究,對全球范圍內(nèi)將近30個大模型橫向評測,列了7項評測指標(biāo),其中6項是關(guān)于模型本身的評測性能,代表了模型本身能力的強弱,包括準(zhǔn)確性、魯棒性、公允性、偏見度、校準(zhǔn)誤差、惡意性。這個榜單里的模型絕大部分都是國外的,包括和ChatGPT相關(guān)的InstructGPT模型。當(dāng)然這里面也有我們與清華多個實驗室共同訓(xùn)練的大規(guī)模中英文預(yù)訓(xùn)練語言模型GLM-130B,這是國內(nèi)唯一一個入選、能跟這些頂尖模型一較高下的基座模型。
米磊:在資金投入和投入環(huán)境上也存在差異。OpenAI從2015年開始研發(fā)至今,背后是堅持不懈的長期巨額資金投入,不管是熱還是冷,都堅持不斷創(chuàng)新,最后十年磨一劍,坐冷板凳把ChatGPT做出來了。中國長期投入的這種環(huán)境跟美國還是有差距的。說到底還是要按客觀規(guī)律辦事,所以我們呼吁大家關(guān)注和支持硬科技,希望大家能多一些耐心,做長期資本來支持科技創(chuàng)新。
澎湃科技:國內(nèi)企業(yè)如果要追趕,生產(chǎn)出類ChatGPT產(chǎn)品,要從哪些方面入手?
張鵬:我們一直在做關(guān)于千億模型和萬億模型的研究,也在思考我們與ChatGPT的距離。首先,我們認(rèn)為要有能夠跟國際比肩的性能非常好的基座模型,也就是類似GPT-3和GLM-130B這樣的模型。有了基座模型之后,還要在基座模型上做優(yōu)化,包括加入代碼的訓(xùn)練,增強它的邏輯性,做監(jiān)督性的訓(xùn)練,做強化學(xué)習(xí)的訓(xùn)練和用戶反饋的數(shù)據(jù)監(jiān)督訓(xùn)練。還要做很多這樣的工作,才能得到跟ChatGPT背后的模型相媲美的模型。然后在大模型的基礎(chǔ)上再去開發(fā)出產(chǎn)品,這是工程性的問題。
米磊:還是回到算法、數(shù)據(jù)和算力上。國內(nèi)要在軟硬件上同時下功夫,一方面把算法做得更好一點,尤其是優(yōu)化算法,包括認(rèn)知算法、反思算法。另一方面提升數(shù)據(jù)量,解決算力問題,因為現(xiàn)在還面臨高端GPU算力卡脖子問題。
【通向認(rèn)知智能的重要一步,需受安全、道德等約束】
澎湃科技:現(xiàn)在人們會和ChatGPT交流自己的職業(yè)會不會被它替代。
張鵬:目前ChatGPT還有一些不可避免的缺陷,暫時還不太可能完全替代某一個職業(yè)或某一份工作。但隨著用戶量的急劇增加,給ChatGPT的反饋信息越來越多,模型迭代訓(xùn)練后,是真的有可能替代一些簡單重復(fù)、沒有太大技術(shù)含量的工作。
米磊:人工智能會逐步把人類低端、重復(fù)性的工作代替,但創(chuàng)新是代替不了的。
澎湃科技:ChatGPT的出現(xiàn)能否說明我們已經(jīng)接近了通用人工智能?
張鵬:說通用人工智能還早,頂多算是通向通用人工智能中的認(rèn)知智能很重要的一步,通過大規(guī)模預(yù)訓(xùn)練模型技術(shù),實現(xiàn)了部分認(rèn)知推理能力和內(nèi)容生成能力。當(dāng)然它仍然會“一本正經(jīng)地胡說八道”,犯一些常規(guī)性和知識性的錯誤,這就是它的一個缺陷,它仍然欠缺認(rèn)知當(dāng)中嚴(yán)謹(jǐn)?shù)闹R和邏輯這個部分,它生成的結(jié)果的可解釋性還比較欠缺。
米磊:透過ChatGPT,我們已經(jīng)能看到初級智能時代的曙光了,未來它將會帶來一場生產(chǎn)力的革命。過去60年是信息時代,未來60年是智能時代,到時候大概率是要替代掉現(xiàn)在的搜索引擎模式。
澎湃科技:你們?nèi)ツ曷?lián)合清華的幾個實驗室訓(xùn)練出了GLM-130B模型,后續(xù)有哪些發(fā)展規(guī)劃?
張鵬:自2022年8月發(fā)布以來,GLM-130B收到了41個國家266個研究機構(gòu)的使用需求,包括Google、Microsoft、Stanford、MIT、UC Berkely、CMU、Harvard、華為、百度、阿里巴巴、騰訊、頭條、智源、北京大學(xué)、浙江大學(xué)、香港大學(xué)等。當(dāng)前OpenAI的GPT對中國禁用,英偉達(dá)的A100等高端芯片對中國禁售,我們在做大模型的過程中挑戰(zhàn)巨大,但同時也有這份責(zé)任心,要做大模型的中國創(chuàng)新,要做能媲美GPT系列的認(rèn)知大模型。接下來從GPT-3到GPT-3.5到ChatGPT這條路徑中的必要工作我們會持續(xù)去做,基于GLM-130B模型提供基礎(chǔ)服務(wù)能力,比如文本生成、代碼輔助編寫等。
澎湃科技:在大模型中加入記憶模塊和自我反思機制嗎?
張鵬:這是我們的一個構(gòu)想,團隊正在這方面持續(xù)探索。首先要解決犯知識性錯誤的問題,因為現(xiàn)在ChatGPT是純用生成的方式來回答問題,沒有結(jié)合常識知識和背景性質(zhì)的數(shù)據(jù),所以它回答問題的時候雖然語句上是通順的,但知識性的細(xì)節(jié)會出錯。這是模型本身的缺陷,在訓(xùn)練時可能沒有加入更多的知識,或者生成這個結(jié)果后沒有用事實性的邏輯推理方式去檢查。記憶模塊就是為了解決知識內(nèi)容犯錯的問題,把這些知識記住就不需要胡說八道,直接從記憶里檢索出來就好了。
澎湃科技:總的來說,ChatGPT會帶來哪些技術(shù)和社會挑戰(zhàn)?
張鵬:技術(shù)挑戰(zhàn)就是它離真正的通用人工智能甚至認(rèn)知智能這個目標(biāo)還有一些距離,包括加入基于self-instruct的自我反思機制,需要從技術(shù)上持續(xù)突破。
對于社會問題,根據(jù)我們的觀察,首先要考慮安全風(fēng)險,它曾經(jīng)在誘導(dǎo)下寫出毀滅全人類的計劃書,因此需要考慮如何避免或受到監(jiān)管。其次,每個技術(shù)的誕生都會存在濫用的問題,現(xiàn)在國外有些學(xué)校、科研機構(gòu)、期刊雜志禁止使用ChatGPT寫論文。此外,可能會引起工作崗位、職業(yè)的變更,甚至?xí)鹨恍┎环€(wěn)定因素??傮w上,目前技術(shù)已經(jīng)跑在前頭了,安全、法律、道德等層面對它的約束和應(yīng)對還是要跟上。
澎湃科技:大小企業(yè)都在做大模型或類ChatGPT產(chǎn)品,怎樣的企業(yè)會勝出?
張鵬:做這件事需要幾方面要素,首先要有深厚的技術(shù)積累,持續(xù)深入研究,并有成果產(chǎn)出。
第二需要有大量資源,包括數(shù)據(jù)、算力。這一點上,國內(nèi)和國際的大企業(yè)有天生的優(yōu)勢。
第三需要生態(tài)建設(shè),一項新的技術(shù)在投入使用過程中不能靠一兩個公司或者少量的人就能把整個事情做起來,它需要一個生態(tài)。比如大家愿意在產(chǎn)品中嵌入并應(yīng)用這些技術(shù),技術(shù)本身會接收到更多反饋,然后不斷迭代,這需要一個良好的應(yīng)用生態(tài)環(huán)境去促進不斷升級和迭代。
從這幾個要素可以判斷哪些企業(yè)或機構(gòu)能夠在這件事上走得更遠(yuǎn)。