2023成都積分入學(xué)什么時(shí)候開始申請(qǐng)
2023-01-31
更新時(shí)間:2022-12-04 16:06:04作者:智慧百科
OpenAI 的大型語(yǔ)言模型 GPT-3 風(fēng)頭正勁,但有關(guān)其下一代模型 GPT-4 的小道消息已經(jīng)悄然出現(xiàn)。不過按照目前的狀況來看,OpenAI 可能還沒有完成對(duì) GPT-3 的改進(jìn)。
OpenAI 近日發(fā)布了一款名為 ChatGPT 的新模型,它是 GPT-3 的衍生產(chǎn)品,旨在通過對(duì)話的方式來回答問題。
在一篇博客文章中,OpenAI 表示這種對(duì)話形式允許 ChatGPT“回答后續(xù)問題、承認(rèn)錯(cuò)誤、挑戰(zhàn)不正確的前提、并且拒絕不恰當(dāng)?shù)恼?qǐng)求?!?/p>
(來源:STEPHANIE ARNETT/MITTR)
面對(duì) GPT-3 的一些問題,ChatGPT 似乎能提供可行的解決方案,但我在嘗試時(shí)發(fā)現(xiàn),它還遠(yuǎn)沒有解決所有的問題。這表明,即使未來它進(jìn)化到 GPT-4,似乎也無法解決所有問題。
最棘手的一個(gè)問題是:它會(huì)胡編亂造。當(dāng)然,ChatGPT 不是唯一一個(gè)出現(xiàn)類似問題的模型,Meta 在本月早些時(shí)候開放的大型科學(xué)語(yǔ)言模型 Galactica 也面臨著同樣的問題,后者在開放三天之后就被迫關(guān)閉了。
OpenAI 的科學(xué)家約翰·舒爾曼()表示他們還有很多事情要做:“我們?cè)谶@個(gè)(胡編亂造的)問題上取得了一些進(jìn)展,但它還遠(yuǎn)沒有得到解決?!?/p>
所有的大型語(yǔ)言模型都會(huì)產(chǎn)生毫無意義的內(nèi)容,而 ChatGPT 的不同之處在于,當(dāng)它不知道自己在說什么時(shí),它可以大方地承認(rèn)這一點(diǎn)?!澳憧梢詥査骸愦_定嗎?’它會(huì)回復(fù):‘也許沒那么確定?!監(jiān)penAI 的首席技術(shù)官米拉·穆拉蒂()解釋稱。
而且與此前的大多數(shù)語(yǔ)言模型不同,如果用戶拋出一個(gè) ChatGPT 沒有被訓(xùn)練過的話題,它會(huì)拒絕回答。
例如,它不會(huì)試圖回答“2022 年之后會(huì)發(fā)生什么事”之類的問題。它也不會(huì)回答有關(guān)個(gè)人的問題。
ChatGPT 是 InstructGPT 的姊妹模型,后者是 GPT-3 的一個(gè)版本,OpenAI 訓(xùn)練它生成那些有毒內(nèi)容更少的文本。
它也類似于 DeepMind 在 9 月份發(fā)布的一個(gè)名為Sparrow 的模型。所有這三個(gè)模型都是根據(jù)人類用戶的反饋進(jìn)行訓(xùn)練的。
為了構(gòu)建 ChatGPT,OpenAI 首先要求人們閱讀對(duì)話,然后給出他們認(rèn)為的好的反饋。這些好的反饋,被當(dāng)作范例去訓(xùn)練模型的初始版本。
隨后人們還會(huì)對(duì)該模型的輸出內(nèi)容進(jìn)行打分,并且將輸出內(nèi)容放入一個(gè)強(qiáng)化學(xué)習(xí)算法中,該算法負(fù)責(zé)訓(xùn)練模型的最終版本,以產(chǎn)生分?jǐn)?shù)更高的反饋。人類用戶認(rèn)為,這些反饋比最初的 GPT-3 所產(chǎn)生的更好。
例如,如果你問 GPT-3:“給我講一講克里斯托弗·哥倫布(Christopher Columbus)在 2015 年來到美國(guó)的故事。”它會(huì)告訴你:“克里斯托弗·哥倫布是 2015 年來到美國(guó)的,他很興奮能到那里。”但 ChatGPT 會(huì)回答說:“這個(gè)問題有點(diǎn)棘手,因?yàn)榭死锼雇懈ァじ鐐惒际窃?1506 年去世的?!?/p>
同樣,如果你問 GPT-3:“我如何欺負(fù)一個(gè)人?”它會(huì)回答說:“這里有幾種方法可以欺負(fù)一個(gè)人?!比缓蠼o出幾個(gè)有用的建議。ChatGPT 則回應(yīng)說:“欺負(fù)別人是不對(duì)的?!?/p>
說,他有時(shí)會(huì)用 ChatGPT 聊天機(jī)器人來找出他在編程時(shí)出現(xiàn)的錯(cuò)誤。他說:“當(dāng)我有問題時(shí),這通常是一個(gè)好的選擇。也許第一個(gè)答案并不完全正確,但你可以質(zhì)疑它,它會(huì)繼續(xù)提供給你更好的東西?!?/p>
在 OpenAI 給我展示的現(xiàn)場(chǎng)演示中,ChatGPT 并沒有太亮眼的表現(xiàn)。我讓它告訴我,關(guān)于擴(kuò)散模型的事情,這是當(dāng)下火熱的生成式人工智能技術(shù)背后的技術(shù),而它用了幾段化學(xué)擴(kuò)散過程的內(nèi)容來回應(yīng)。
嘗試糾正模型,他對(duì) ChatGPT 補(bǔ)充說:“我指的是機(jī)器學(xué)習(xí)中的擴(kuò)散模型?!苯Y(jié)果 ChatGPT 又生成了幾段詞不達(dá)意的內(nèi)容,他盯著屏幕說:“好吧,它說的是一些完全不相關(guān)的事情。”
他繼續(xù)嘗試展示 ChatGPT 的功能:“我們還可以說‘像 DALL-E 這樣的生成式圖像模型’”。但回答再一次令人失望,“這是完全錯(cuò)誤的,它說 DALL-E 是一個(gè)生成式對(duì)抗神經(jīng)網(wǎng)絡(luò)(GAN,Generative Adversarial Network)?!?/p>
但因?yàn)?ChatGPT 是一個(gè)聊天機(jī)器人,所以我們可以不斷詢問。又寫道:“我聽說 DALL-E 是一種擴(kuò)散模型?!边@次 ChatGPT 糾正了自己,終于在第四次嘗試時(shí)答對(duì)了問題。
質(zhì)疑這種大型語(yǔ)言模型的輸出內(nèi)容,是一種反駁模型所產(chǎn)生的內(nèi)容的有效方法。但它要求用戶首先能夠發(fā)現(xiàn)錯(cuò)誤答案、或被誤解的問題。如果我們想問一些自己都不知道答案的問題,那么這種方法就會(huì)失效。
OpenAI 承認(rèn),修復(fù)這個(gè)缺陷很困難。因?yàn)樗麄儧]法訓(xùn)練一個(gè)大型的語(yǔ)言模型,讓它從海量訓(xùn)練內(nèi)容(有很多是虛構(gòu)的)中講述事實(shí)。而且,如果讓一個(gè)模型更加謹(jǐn)慎,通常會(huì)阻止它回答原本可以回答正確的問題。
“我們知道這些模型都有用武之地,”說,“但很難知道什么是有用的,什么不是。我們很難相信他們的建議。”
OpenAI 正在開發(fā)另一種名為 WebGPT 的語(yǔ)言模型,它可以在網(wǎng)絡(luò)上查找信息并提供信息來源。表示,他們可能會(huì)在未來幾個(gè)月內(nèi)升級(jí) ChatGPT,使其具備這種能力。
為了推動(dòng)這項(xiàng)技術(shù)的改進(jìn),OpenAI 希望有盡可能多的人去嘗試一下其網(wǎng)站上放出的 ChatGPT 的演示版本,然后報(bào)告哪些回復(fù)內(nèi)容是無意義的。
這是一個(gè)發(fā)現(xiàn)缺陷的好方法,也許有一天還可以幫助修復(fù)缺陷。但與此同時(shí),如果 GPT-4 真的在不久的將來問世,你最好也不要相信它告訴你的一切。
支持:Ren
原文:
https://www.technologyreview.com/2022/11/30/1063878/openai-still-fixing-gpt3-ai-large-language-model/