2023成都積分入學什么時候開始申請
2023-01-31
GPT-4參數(shù)過100萬億？OpenAI CEO辟謠：知道你急，但你先別急！
更新時間：2023-01-20 14:05:20作者：智慧百科
新智元報道
編輯：編輯部
【新智元導讀】關(guān)于ChatGPT的種種傳聞和爭議，正主親自來回應了。
最近，借著ChatGPT的火爆，OpenAI身價大漲，估值一度達到290億美元。
在2019年就給OpenAI投了10億美?元的「金主爸爸」微軟，
沒錯，OpenAI現(xiàn)在可是微軟手中的「香餑餑」，微軟的、、，個個都等著ChatGPT等AI工具的加持。
被微軟當作大展宏圖利器的OpenAI，現(xiàn)在已經(jīng)聚焦了全世界的目光。
對此，OpenAI的CEO Sam Altman是怎樣看的呢？
時下頂流：ChatGPT
對不起，這個問題我回答不了
大家最關(guān)心的問題，當然是ChatGPT整合進微軟必應和Office的問題了。
記者就此提問后，Altman眨了眨眼睛，回避了直接回答。
他的發(fā)言可是相當有意思——
「你是一個非常有經(jīng)驗的專業(yè)記者。你知道我不能對此發(fā)表評論。我知道你知道我不能對此發(fā)表評論。你知道我知道你知道[我]不能對此發(fā)表評論。既然生命很短暫，我們的時間都很寶貴，為什么要問這個問題呢？」
?精彩地回避掉了問題焦點，還講了一套段子精彩回懟，小編只能說，采訪的語言藝術(shù)，被您拿捏了。
不過在隨后的采訪中，Altman也表示：雖然估值高達290億美元，但其實現(xiàn)在OpenAI還未盈利。
的確，考慮到一天現(xiàn)在，這件事并不令人驚訝。
陰陽一下谷歌
ChatGPT誕生之后，因為一本正經(jīng)地胡說八道，和所有語言模型都無法避免的訓練數(shù)據(jù)「帶毒」問題，被很多人所質(zhì)疑。
擔心會引起聲譽風險，這就是谷歌遲遲未能將自己手中的LaMDA等語言模型商業(yè)化的主要原因（至少，谷歌是這么聲稱的）。
挑事的主持人當然不會放過這個話題，她直接問Altman：「谷歌對員工解釋，之所以沒有推出ChatGPT類似產(chǎn)品，是因為GPT技術(shù)還不夠完美，可能會損害公司聲譽，你對此怎么看待呢？」
對此，Altman意味深長地一笑：「我希望等谷歌發(fā)布新產(chǎn)品的那一天，他們能記得自己說過的話。我就說這么多?！?/p>
細品一下他的表情
沒有一句廢話，深藏功與名，Altman，真有你的。
那么，對于谷歌的人工智能，Altman是如何評價的呢？
聰明如他，是這么回答的：「關(guān)于他們的新聞，我了解得不多，不太好進行評價……嗯，我認為他們是一家有能力的公司，他們有好的產(chǎn)品，但我對此確實一無所知?！?/p>
雖然這么說，但顯然，Altman非常了解坊間關(guān)于「ChatGPT是谷歌搜索引擎終結(jié)者」的言論。
對此，他是這樣評論的——
「在我看來，每當有人說『一項技術(shù)是某個巨頭公司的終結(jié)者』時，這種言論通常都是錯誤的。可能人們忘了，谷歌也有反擊的機會，他們擁有非常聰明、有能力的人才。」
「不過，搜索引擎確實會有一個變化，可能會在某個時刻到來。但在短期內(nèi)，不會有太急劇的變化。我猜，在相當長的時間內(nèi)，人們會以現(xiàn)有的方式繼續(xù)使用谷歌。雖然谷歌發(fā)布了紅色代碼，但短期內(nèi)不會有太大變化，我猜?！?/p>
教學系統(tǒng)大震動
去年12月，ChatGPT大紅大紫之際，就有諸多學者和研究人員發(fā)出警告：。最近，
對此，Altman表示：「我理解教育工作者的擔憂。事實上，教育界目前發(fā)生的事情，也是其他行業(yè)未來變化的序章?！?/p>
「短期來說，我們會幫助教育工作者以及其他行業(yè)的從業(yè)者，為他們提供辨別人工智能生成內(nèi)容的工具。但從長遠來看，人工智能產(chǎn)生的影響終會質(zhì)變，這是所有人都無法改變的?！?/p>
「我們現(xiàn)在已經(jīng)身處一個新的世界，從現(xiàn)在開始，我們要辨別哪些文字內(nèi)容由人工智能生成。但這也未嘗不可。計算器的出現(xiàn)改變了數(shù)學的計算方式，但我們已經(jīng)習慣它的存在，我們甚至可以在考試時使用計算器。」
「當然，ChatGPT等人工智能所帶來的變化將會更加深遠，不過，這種變化帶來的好處也會是前所未有的。雖然老師們擔心學生用ChatGPT作弊，但也有老師表示，ChatGPT是一個很好的私人家教。」
「我本人也在用它學習，體驗之后我發(fā)現(xiàn)，通過和ChatGPT對話進行學習，趣味性要遠超其他教學方式。比起從書本中學習，我更樂意讓ChatGPT來教我?！?/p>
「這是個不斷進化的世界，人是適應性的動物。面對變化，我們總能適應，總能利用環(huán)境讓自己變得更好?！?/p>
ChatGPT爆火的原因
ChatGPT誕生以來，僅用了5天的時間，用戶數(shù)就成功達百萬，破了紀錄。
在Altman看來，DALL·E之所以獲得了如此多的關(guān)注，是因為它改變了大家對人工智能的認知。
「還在5-7年前，所有人都以為，人工智能的出現(xiàn)會將人類從體力勞動中解放出來。比如人工智能會代替人們在工廠工作，或替人們駕駛卡車，甚至還會做一些要求不高的認知工作?！?/p>
「而當人工智能發(fā)展到一定階段，它可能會從事更高級別的認知勞動，比如寫代碼。而發(fā)展到最后一步，人工智能就會掌握人類的創(chuàng)造力?！?/p>
「而如今來看，人工智能的發(fā)展與人們曾經(jīng)的預測可謂南轅北轍，相去甚遠?！?/p>
「當然，我們也理解人們對ChatGPT爆火的疑惑。一個公司真正負責任的做法，不是一股腦地將產(chǎn)品推出，讓人們手足無措。」
「我們需要循序漸進，讓普通用戶、平臺機構(gòu)和政策制定者盡快熟悉我們的產(chǎn)品，了解它的優(yōu)勢和短處。」
「這也是為什么，據(jù)我們的上一代產(chǎn)品GPT-3的推出，已經(jīng)有兩年半的時間了。人們對于ChatGPT各種各樣的反饋也能讓我反思，相較于GPT-3，哪些修改是不合適的?！?/p>
萬眾矚目的GPT-4
文中，Romero援引了硅谷工程師Igor Baikov9月時的一條推文表示：
「OpenAI已經(jīng)在訓練GPT-4，并計劃于12月-2月間發(fā)布?！?/p>
根據(jù)Romero的預測，OpenAI將下一代模型的重點更多地放在優(yōu)化數(shù)據(jù)處理上，而不是參數(shù)大小上，因此GPT-4的規(guī)模很可能與GPT-3相似，而且訓練成本更低。
除此之外，還有傳言稱，GPT-4的參數(shù)量高達100萬億，并且已經(jīng)先進到「與人類無異」，甚至「通過了圖靈測試」。
對于這些傳聞，Altman哭笑不得：「過于荒謬，一派胡言，完全不知從何而來?！?/p>
「我知道網(wǎng)友們都想通過各種爆料先睹為快。我有的時候也會把這些『內(nèi)部貼』當樂子看。但這些帖子傳了足足六個月，我總在想『現(xiàn)在人都這么閑了嗎？』」
「而且關(guān)于GPT-4的謠言越傳越離譜，仿佛他們是故意把期待值拉到不該有的高度，然后等著被我們打臉似的。比如，一些網(wǎng)友甚至認為GPT-4會是真正的AGI（人工通用智能）。」
「對于這一切，我只能說，他們在會失望這件事上，是不會失望的。」
此外，在采訪中，主持人也向Altman求證GPT-4發(fā)布的具體時間。Altman表示：我知道你急，但你先別急。
總有一天我們會發(fā)布的，只要我們確定它足夠安全。目前來看，GPT-4的發(fā)布會比大家期待的要晚一些。
我理解大家急切的心情，但當我們真正發(fā)布時，人們一定會覺得，等待是值得的。
簡單來說就是：別急，該來的總會來的。
謠言始末
事實上，這個謠言最初的來源，很可能就是OpenAI自己……
2021年8月，Cerebras的CEO曾在wired的采訪中透露：「我們從與OpenAI的交談中得知，GPT-4將會有大約100萬億個參數(shù)」。
在當時，這很可能就是他們所相信的。但那是2021年，就機器學習研究而言，這基本上是很久以前的事了。
而這一切的開始，還是要回到2020年那篇「Scaling Laws For Neural Language Models」論文中。來自OpenAI的研究團隊發(fā)現(xiàn)，當增加模型規(guī)模超過多個數(shù)量級時，訓練損失有可預見的減少：
論文地址：https://arxiv.org/abs/2001.08361
于是，模型的規(guī)模也開始迅速膨脹。比如，GPT-3（175B）、Gopher（280B）、Megatron-Turing NLG（530B）。
但DeepMind發(fā)表于2022年的論文「Training Compute-Optimal Large Language Models」表明，實際上需要將訓練集和模型以相等的比例縮放。因此，當模型的大小翻倍時，訓練所需的token數(shù)量也應該翻倍。
為了驗證這個結(jié)果，研究人員在大量的數(shù)據(jù)上訓練出了Chinchilla——一個700億參數(shù)，在1.4萬億token上訓練的「小模型」。雖然它比GPT-3小2.5倍，但卻用了幾乎5倍的數(shù)據(jù)。
實踐證明，Chinchilla不僅更好，而且較小的規(guī)模使推理更便宜，微調(diào)更容易。
論文地址：https://arxiv.org/abs/2203.15556
根據(jù)上述分析，也正如Sam Altman所言，GPT-4的規(guī)模極大概率會與GPT-3相差不多。
當然，我們也可以大膽地預測一下：
無論具體設計如何，GPT-4都將是一個堅實的進步，但絕不是一個具有100億參數(shù)的類似人腦的AGI。
最后，AGI何時出現(xiàn)？
AGI（Artificial General Intelligence）也是最近大火的概念。它何時會出現(xiàn)呢？ 對此，Altman是這樣回答的—— 「當我們越接近AGI出現(xiàn)的節(jié)點，我就越難回答這個問題。在我看來，AGI的概念將比人們想象的要模糊得多，同時，它的出現(xiàn)是一個漸進的過程?！?/p>
「如果將AGI的發(fā)展看做一條上升的折線，我認為在短期內(nèi)，折線斜率越低，即AGI的發(fā)展越低調(diào)，越有利于其長期發(fā)展，這也是對全社會最安全的一條發(fā)展路徑?！?/p>
「當然，AGI到達哪個階段，才可以認定其技術(shù)上的成功？關(guān)于這點，人們會有巨大的分歧?！?/p>
參考資料：
https://www.theverge.com/23560328/openai-gpt-4-rumor-release-date-sam-altman-interview
https://smokingrobot.beehiiv.com
https://www.youtube.com/watch?v=ebjkD1Om4uw&feature=youtu.be