中文字幕亚洲欧美日韩在线不卡,亚洲欧美日产综合在线网性色,思思久久精品6一本打道,综合视频中文字幕

新智元報(bào)道

編輯：編輯部

【新智元導(dǎo)讀】最近，LeCun連續(xù)發(fā)推，舌戰(zhàn)各位推友，瘋狂diss大語(yǔ)言模型是邪路，也為自家匆忙下線的Galactica酸了一把ChatGPT。而LeCun態(tài)度的大反轉(zhuǎn)，也讓曾經(jīng)的對(duì)頭馬庫(kù)斯喜出望外。不僅頻頻轉(zhuǎn)發(fā)LeCun推文，還高調(diào)宣布兩人的「世紀(jì)大和解」。

這兩天，圖靈獎(jiǎng)得主Yann LeCun心態(tài)有些崩了。

自從ChatGPT大火之后，微軟憑著OpenAI腰板挺得很直。

被啪啪打臉的谷歌，也不說(shuō)什么「聲譽(yù)風(fēng)險(xiǎn)」了。

所有旗下的語(yǔ)言模型，無(wú)論是LaMDA，還是 ，以及 ，是能加快的加快，能上架的 上架。 然后再 ，想趕快扶出自己的OpenAI。 （微軟有的我也要）

然而，有一個(gè)人看著微軟谷歌各領(lǐng)風(fēng)騷，卻只能急得原地跳腳。

這個(gè)人就是Meta的首席AI科學(xué)家——Yann LeCun。

他在推特中十分意難平：「ChatGPT滿嘴胡謅，你們卻對(duì)它如此寬容，但我家的Galactica，才出來(lái)三天，就被你們罵到下線了?！?/p>

是誰(shuí)酸到了，我不說(shuō)

作為深度學(xué)習(xí)三巨頭之一、圖靈獎(jiǎng)得主，LeCun的一舉一動(dòng)，都十分引人注意。

1月27日，在Zoom的媒體和高管小型聚會(huì)上，LeCun對(duì)ChatGPT給出了一段令人驚訝的評(píng)價(jià)：「就底層技術(shù)而言，ChatGPT并不是多么了不得的創(chuàng)新。雖然在公眾眼中，它是革命性的，但是我們知道，它就是一個(gè)組合得很好的產(chǎn)品，僅此而已?！?/p>

「除了谷歌和Meta之外，還有六家初創(chuàng)公司，基本上都擁有非常相似的技術(shù)?！?/p>

另外他還說(shuō)，ChatGPT用的Transformer架構(gòu)是谷歌提出的，而它用的自監(jiān)督方式，正是他自己提倡的，那時(shí)OpenAI還沒(méi)誕生呢。

此番言論一出，公眾嘩然。Open AI的CEO Sam Altman疑似因?yàn)檫@句話直接取關(guān)了LeCun。

隨后，LeCun繼續(xù)舌戰(zhàn)眾位推友。

1月28日，LeCun發(fā)推稱，「大型語(yǔ)言模型并沒(méi)有物理直覺(jué)，它們是基于文本訓(xùn)練的。如果它們能從龐大的聯(lián)想記憶中檢索到類似問(wèn)題的答案，他們可能會(huì)答對(duì)物理直覺(jué)問(wèn)題。但它們的回答，也可能是完全錯(cuò)誤的?！?/p>

2月4日，LeCun再次發(fā)推，更加直白地表示「在通往人類級(jí)別AI的道路上，大型語(yǔ)言模型就是一條歪路」。

他這話一說(shuō)，網(wǎng)友們可high了，紛紛沖到評(píng)論區(qū)留言。

LeCun隨后補(bǔ)充說(shuō)：「依靠自動(dòng)回歸和響應(yīng)預(yù)測(cè)下一個(gè)單詞的LLM是條歪路，因?yàn)樗鼈兗炔荒苡?jì)劃也不能推理?！?/p>

「但是SSL預(yù)訓(xùn)練的Transformer是解決方案，因?yàn)樗幍默F(xiàn)實(shí)系統(tǒng)有推理、計(jì)劃和學(xué)習(xí)的能力?！?/p>

LeCun舉了個(gè)有趣的例子：自己在參加播客節(jié)目時(shí)，展示過(guò)ChatGPT的回答，它看上去很有道理，卻錯(cuò)得離譜。然而主持人在讀完ChatGPT的回答后，卻沒(méi)有第一時(shí)間發(fā)現(xiàn)它錯(cuò)了。

LeCun對(duì)此解釋道：「我們的思維方式和對(duì)世界的感知讓我們能預(yù)想即將發(fā)生的事物。這是我們獲得常識(shí)的基礎(chǔ)，而LLM并沒(méi)有這種能力?！?/p>

他再次發(fā)推稱：「在我們做出人類級(jí)別的AI之前，我們需要先做出貓貓/狗狗級(jí)別的AI。而現(xiàn)在我們甚至連這都做不到。我們?nèi)笔Я耸种匾臇|西。要知道，連一只寵物貓都比任何大型語(yǔ)言模型有更多的常識(shí)，以及對(duì)世界的理解?！?/p>

在留言區(qū)，有網(wǎng)友毫不客氣地懟起LeCun：「你說(shuō)得不對(duì)吧，本人親測(cè)，Galactica的錯(cuò)誤率接近100%，而ChatGPT的錯(cuò)誤率差不多在15%左右。 」

對(duì)于網(wǎng)友的痛擊，LeCun再次發(fā)推表明態(tài)度：「我從來(lái)沒(méi)說(shuō)大型語(yǔ)言模型沒(méi)用，其實(shí)我們Meta也推出過(guò)Galactica模型，只是它不像ChatGPT那么好命罷了。ChatGPT滿嘴胡謅，你們卻對(duì)它如此寬容，但我家的Glacatica，才出來(lái)三天，就被你們罵到下線了?！?/p>

對(duì)此，評(píng)論區(qū)有網(wǎng)友諷刺道：「你可真棒棒啊。不如回實(shí)驗(yàn)室去，把你說(shuō)的東西給做出來(lái)?！?/p>

LeCun回復(fù)：「今天可是周日，推特大辯論是我周末最愛(ài)的消遣了。」

自家的模型只活了3天

LeCun如此意難平，可以理解。

去年11月中旬，Meta的FAIR實(shí)驗(yàn)室曾提出一個(gè)Galactica模型，它可以生成論文、生成百科詞條、回答問(wèn)題、完成化學(xué)公式和蛋白質(zhì)序列的多模態(tài)任務(wù)等等。

Galactica生成的論文

LeCun也很開(kāi)心地發(fā)推盛贊，稱這是一個(gè)基于學(xué)術(shù)文獻(xiàn)訓(xùn)練出的模型，給它一段話，它就能生成結(jié)構(gòu)完整的論文。

然而，由于Galactica滿嘴跑火車，它才上線短短三天，就被網(wǎng)友噴到下線。

LeCun轉(zhuǎn)發(fā)了Papers with Code的通知，像個(gè)「大怨種」一樣說(shuō)道：「現(xiàn)在我們?cè)僖膊荒芎虶alactica一起愉快地玩耍了，你們開(kāi)心了？」

雖然Galactica的demo才上線幾天，但當(dāng)時(shí)的用戶都感覺(jué)如臨大敵。

有網(wǎng)友警示道：想想這個(gè)「寫論文」神器會(huì)被學(xué)生們拿來(lái)做什么吧。

有網(wǎng)友表示，「Galactica這個(gè)模型的回答錯(cuò)漏百出，充滿偏見(jiàn)，可是它的語(yǔ)氣卻十分自信權(quán)威。這太恐怖了?！?/p>

馬庫(kù)斯也表示，這種大型語(yǔ)言模型可能會(huì)被學(xué)生用來(lái)愚弄老師，非常令人擔(dān)心。

這熟悉的配方，熟悉的味道，真是令人感慨萬(wàn)千：曾經(jīng)Galactica引起的恐慌和質(zhì)疑，不正是ChatGPT后來(lái)所經(jīng)歷嗎？

看著這段歷史的重演，卻有著截然不同的結(jié)局，LeCun這么酸，確實(shí)不能說(shuō)是毫無(wú)來(lái)由。

那為什么ChatGPT就能在質(zhì)疑的聲浪中人氣愈發(fā)高漲，Galactica卻只能慘兮兮地被罵到下線呢？

首先，Galactica由Meta提出，大公司確實(shí)比OpenAI這樣的小初創(chuàng)公司，面臨更多的「聲譽(yù)風(fēng)險(xiǎn)」。

另外，OpenAI的產(chǎn)品定位策略十分聰明，從ChatGTP的名字就可以看出，它主打的概念是聊天。

你可以和它聊知識(shí)、聊論文，但既然是「chat」，自然可以放飛一些，誰(shuí)規(guī)定聊天一定要聊「準(zhǔn)確」「嚴(yán)謹(jǐn)」的東西呢？

但Glactica則不同，它的官方定義是：「這是一個(gè)用于科研的模型。」「這是一個(gè)受過(guò)人類科學(xué)知識(shí)訓(xùn)練的人工智能。您可以將它用作一個(gè)新界面，來(lái)訪問(wèn)和操作我們對(duì)宇宙的知識(shí)?！?/p>

這當(dāng)然就給自己埋了大雷了。

雖然從技術(shù)層面來(lái)看，ChatGPT的確沒(méi)有太多創(chuàng)新，但是從產(chǎn)品運(yùn)營(yíng)的角度，OpenAI這一招，打得十分出色。

LLM為什么會(huì)滿嘴胡話？

所以，大語(yǔ)言模型為什么會(huì)滿嘴胡話呢？

在LeCun點(diǎn)贊的一篇文章中，作者做出了解釋：「我曾嘗試用ChatGPT來(lái)幫忙寫博客文章，但都以失敗告終。原因很簡(jiǎn)單：ChatGPT經(jīng)常會(huì)整出很多虛假的『事實(shí)』」。

自然語(yǔ)言不等于知識(shí)

要知道，LLM是為了在與其他人類的對(duì)話中聽(tīng)起來(lái)像一個(gè)人，而且它們也很好地實(shí)現(xiàn)了這個(gè)目標(biāo)。但問(wèn)題是，聽(tīng)起來(lái)自然與評(píng)估信息的準(zhǔn)確性是兩種完全不同的事情。

那么，這個(gè)問(wèn)題該如何解決呢？

舉個(gè)例子，我們可以借助已經(jīng)對(duì)物理學(xué)理解進(jìn)行了編碼的機(jī)器——物理學(xué)引擎：

而對(duì)于「假論文問(wèn)題」，我們同樣也可以采用類似的修正。

也就是讓ChatGPT認(rèn)識(shí)到它被問(wèn)到了關(guān)于科學(xué)論文的問(wèn)題，或者它正在寫關(guān)于論文的東西，并強(qiáng)迫它在繼續(xù)之前查閱一個(gè)可信的數(shù)據(jù)庫(kù)。

但是請(qǐng)注意，如果真的這樣做了，那就意味著你把一種特定的額外「思維」嫁接到了LLM身上。而且還必須考慮到一大堆特殊的情況。這時(shí)，人類工程師知道真相來(lái)自哪里，但LLM卻不知道。

此外，隨著工程師們把越來(lái)越多的這樣的修復(fù)方法嫁接在一起，越來(lái)越明顯的是，LLM不是一種人工通用智能的形式。

不管人類的智能是什么，我們都知道它不僅僅是能說(shuō)會(huì)道的能力。

人類語(yǔ)言的多種用途

為什么人類要互相交談，或?yàn)閷?duì)方寫下東西？

其中一個(gè)目的是直接傳達(dá)事實(shí)信息，比如「我在商店」、「它沒(méi)有插電」等，但這遠(yuǎn)不是我們使用語(yǔ)言的唯一原因：

看得出來(lái)，人類交流的目的是非常多樣化的。而且，我們通常也不會(huì)在寫作的內(nèi)容中表明它的目的是什么，作者和讀者也對(duì)這些內(nèi)容的作用有著不同的認(rèn)知。

如果ChatGPT想要成為一個(gè)值得信賴的事實(shí)傳播者，它可能要學(xué)會(huì)如何區(qū)分它所訓(xùn)練的人類寫作的各種目的。

也就是說(shuō)，它將不得不學(xué)會(huì)不認(rèn)真對(duì)待廢話，區(qū)分說(shuō)服和宣傳與客觀分析，獨(dú)立判斷一個(gè)來(lái)源的可信度與它的受歡迎程度，等等。

即使對(duì)于人類，這也是一個(gè)非常困難的技巧。有研究表明，虛假信息在推特上的傳播速度是準(zhǔn)確信息的數(shù)倍——往往更具有煽動(dòng)性、娛樂(lè)性或看起來(lái)很新穎。

那么問(wèn)題來(lái)了，為什么生成式人工智能在計(jì)算機(jī)代碼上表現(xiàn)很好？為什么編寫功能代碼的準(zhǔn)確性不能轉(zhuǎn)化為傳達(dá)事實(shí)的準(zhǔn)確性？

對(duì)此可能的回答是，計(jì)算機(jī)代碼是功能性的，而不是交流性的。以正確的語(yǔ)法編寫某段代碼會(huì)自動(dòng)執(zhí)行一些任務(wù)，而編寫一個(gè)語(yǔ)法正確的句子卻不一定能達(dá)到任何目的。

此外，我們很容易將計(jì)算機(jī)代碼的訓(xùn)練語(yǔ)料庫(kù)限制在「好」的代碼上，也就是完美地執(zhí)行其預(yù)期目的的代碼。相比之下，要制作一個(gè)成功實(shí)現(xiàn)其目的的文本語(yǔ)料庫(kù)幾乎是不可能的。

因此，為了將自己訓(xùn)練成可信賴的事實(shí)傳播者，LLLM必須完成一項(xiàng)比訓(xùn)練自己提出功能性計(jì)算機(jī)代碼更難的任務(wù)。

雖然不知道對(duì)于工程師來(lái)說(shuō)，建立一個(gè)能夠區(qū)分事實(shí)和廢話的LLM有多難，但這即便對(duì)于人類來(lái)說(shuō)，都是一項(xiàng)困難的任務(wù)。

馬庫(kù)斯：世紀(jì)大和解

LeCun的一大串言論，讓大家紛紛疑惑：這不是馬庫(kù)斯會(huì)說(shuō)的話嗎？

熱（chi）情（gua）的網(wǎng)友紛紛@馬庫(kù)斯，期待他對(duì)此事的銳評(píng)。

苦GPT久矣的馬庫(kù)斯自然喜出望外，立刻轉(zhuǎn)發(fā)LeCun的帖子，還評(píng)論道「100昏」。

馬庫(kù)斯還在自己的博客上發(fā)文，回顧自己與LeCun的「愛(ài)恨情仇」。

馬庫(kù)斯稱，自己與LeCun本是多年老友，因?yàn)樽炝薌alactica幾句使得兩人交惡。

實(shí)際上，馬庫(kù)斯與LeCun的嘴仗打了好幾年了，可不是光只因?yàn)镚alactica下線的事情。

與另外兩位圖靈獎(jiǎng)得主Bengio和Hinton的相對(duì)低調(diào)不同，近幾年，LeCun在社交媒體上的活躍在AI圈子里也是出了名的。不少工作在掛了Arxiv之后就第一時(shí)間在推特上宣傳一波。

同樣高調(diào)的馬庫(kù)斯也是一向視推特為自己的主場(chǎng)，當(dāng)LeCun的宣傳和馬庫(kù)斯的看法產(chǎn)生矛盾時(shí)，雙方都不打算憋著。

在社交媒體上，兩人可以說(shuō)達(dá)到了有架必吵的地步，彼此間話講的毫不客氣，見(jiàn)面說(shuō)不定都能直接掐起來(lái)那種。

而且要說(shuō)梁子，2019年LeCun與Hinton和Bengio一起獲得圖靈獎(jiǎng)后，有一張合影，原本馬庫(kù)斯站在LeCun的邊上，但在LeCun分享的照片中，Marcus被無(wú)情地剪掉了。

然而，ChatGPT的誕生改變了一切。

ChatGPT爆火，Galactica三天后便落魄下架。在LeCun對(duì)LLM瘋狂輸出時(shí)，馬庫(kù)斯自然樂(lè)于看到此景。

正所謂敵人的敵人就是朋友，不論LeCun的言論是自家產(chǎn)品失敗后的大徹大悟，還是對(duì)競(jìng)品頂流現(xiàn)狀的眼紅，馬庫(kù)斯都愿意添一把火。

馬庫(kù)斯認(rèn)為，他和LeCun達(dá)成一致的，不僅是關(guān)于LLM的炒作和局限性。他們都認(rèn)為Cicero應(yīng)該得到更多的關(guān)注。

最后，馬庫(kù)斯@了懂的都懂的那個(gè)人，并說(shuō)「該給家人們福利了」。

可以說(shuō)，LeCun在推特上掀起的罵戰(zhàn)，不僅讓馬庫(kù)斯的反GPT軍團(tuán)多了一員猛將，還給了兩人握手言和的契機(jī)。

這么看來(lái)，或許馬庫(kù)斯才是最終贏家。

參考資料：

https://noahpinion.substack.com/p/4e262415-6b0e-41b7-ba2d-8f620790bf63

https://garymarcus.substack.com/p/some-things-garymarcus-might-say

https://twitter.com/ylecun/status/1621805604900585472?s=46&t=OllXiRf3hn69ikHauZ6GAw

https://twitter.com/ylecun/status/1622380188930646016