中文字幕亚洲欧美日韩在线不卡,亚洲欧美日产综合在线网性色,思思久久精品6一本打道,综合视频中文字幕

圖片來源@視覺中國

文｜硅谷101，作者｜泓君、Nancy

發(fā)布僅5天就收獲100萬用戶，ChatGPT大概是歷史上躥紅最快的互聯(lián)網(wǎng)產(chǎn)品。

最早，谷歌對ChatGPT不屑一顧，但很快谷歌CEO Sundar Pichai 在公司內(nèi)部發(fā)布了“紅色警報” ，認為OpenAI旗下的ChatGPT 真的對谷歌的主營業(yè)務(wù)帶來了巨大的壓力。

美國時間2月6日，彭博社稱谷歌投資人工智能初創(chuàng)企業(yè)Anthropic 近4億美元，同時，谷歌內(nèi)部也同步研發(fā)了很多大模型產(chǎn)品，以此來加固自己的護城河。

Anthropic成立于2021年，其創(chuàng)始人Dario Amodei曾經(jīng)擔(dān)任OpenAI 研究副總裁，因為對OpenAI發(fā)展方向有分歧而選擇自立門戶。

ChatGPT到底會不會沖擊到谷歌搜索？本期節(jié)目，《硅谷101》邀請到了AI研究員余家輝和心識宇宙MindVerse創(chuàng)始人陶芳波來討論他們對于ChatGPT的看法。

01 ChatGPT的第一印象： 做了十年AI仍覺得驚艷

《硅谷101》：家輝跟芳波，你們有一直在做 AI 方向的前沿研究，看到 ChatGPT，你們的第一感覺是怎么樣的？你們覺得是驚艷還是沒有想象中好？

余家輝：我第一次看到 ChatGPT 是某天早上收到一個email， OpenAI 推送發(fā)布了ChatGPT。一開始沒有特別驚訝，因為 OpenAI 在語言生成模型上已經(jīng)耕耘了很多年，往對話方向上做，是一個非常自然的步驟。之后看到社交媒體上的一些對話，意識到整個 ChatGPT 給人的感覺還是非常不一樣。

《硅谷101》：芳波的印象是怎么樣的？

陶芳波：我的印象和對ChatGPT 的感受，和很多對于 AI 沒有那么了解的人是一樣的。ChatGPT 這次的表現(xiàn)，對于哪怕是在 AI 做了超過 10 年的人而言，也是非常驚艷的。大兩年前 GPT-3 出來，它今天把它調(diào)制到一個真正可以解決非常廣泛問題的程度，而且是以一種非常規(guī)范的方式來解決。同時，除了解決自然語言的問題，ChatGPT 還可以生成代碼，并且是迭代式的去改造自我的代碼。這樣的方式，將來 ChatGPT 可能成為數(shù)字世界的一個通用的接口，讓人可以通過它來改造數(shù)字世界，來使用數(shù)字世界。這是我看到的一個巨大的成為未來的基礎(chǔ)設(shè)施的潛力。

02 回答中庸， 刻意為之

《硅谷101》：這次 ChatGPT，它跟 GPT-3 相比技術(shù)上的一些提高跟區(qū)別在哪里？我有問它一些稍微刁鉆一點的問題，它給我的回答我感覺都非常的中庸。這種中庸指的是正面一點點，反面一點點，非常像一個八股文?；蛘哒f，它的很多文章，如果從我們寫文章的人來看，就非常像一種官宣的文章，或者馬屁文章這樣的感覺。從技術(shù)上看，它跟 三年前發(fā)布的GPT3 的區(qū)別到底在哪里 ？

余家輝：能寫官宣的文章也是一種能力，對吧？他們做了一些人工標(biāo)注，我猜可能在做的過程中也會篩選出那些不過于極端化的，不過于 aggressive 的回答。把那些回答篩選掉之后，所以給你的一個主觀的感覺是好像很中庸，好像沒有什么鮮明的觀點，可能這是設(shè)計者想讓它成為這樣的回答方式。

《硅谷101》：所以設(shè)計者有對它調(diào)教過。

余家輝：對。剛才問到的問題是技術(shù)上有哪些提高和區(qū)別？ChatGPT 本身還是基于 GPT-3，更準(zhǔn)確地說是 基于 GPT-3. 5 模型。在我的理解里，GPT-3.5 跟原來的 GPT-3 比用了一些新的數(shù)據(jù)，又做了一些人工的標(biāo)注調(diào)教。

他們運用到的所謂 RLHF，也就是 reinforce learning with human feedback 的方式，使得這個模型能輸出更多人想要的或者人想看到的這種答案，而不是簡單地輸出這種互聯(lián)網(wǎng)上沒有篩選過的文字。

03? 相比于GPT-3的提高： 反饋函數(shù)與人工標(biāo)注

《硅谷101》：所以總結(jié)來說，我覺得它中庸的那一部分，其實是模型故意這樣調(diào)的，它想讓我看到這樣的一個答案。

余家輝：跟你問的問題也有關(guān)系，你特別想知道它的某些觀點，它反而就不想告訴你了。我看到的絕大多數(shù)問題，它的回答的結(jié)果都還不錯。當(dāng)你對話的變長的時候，它還是能去比較好地理解到前面說了什么，前面有什么樣的上下文，這是一些比較新的能力。

《硅谷101》：什么叫人工標(biāo)注，能跟大家解釋一下嗎？

陶芳波：我簡單補充一下家輝的觀點。家輝剛才提到一個概念叫 reinforcement learning with human feedback。我覺得你說的那一點是對的。我覺得它的中庸，包括它不愿意去表達觀點，是刻意為之。因為ChatGPT 跟 GPT-3，包括 GPT-3. 5 有一個很大的不同，它嘗試把強化學(xué)習(xí)引入其中。強化學(xué)習(xí)本質(zhì)上是要有一個反饋函數(shù)的，在反饋函數(shù)的制定當(dāng)中，它加入了很多 OpenAI 認為一個聊天任務(wù)型機器人應(yīng)該具有的一些特點。比方說，它應(yīng)該很安全，他的表達應(yīng)該比較標(biāo)準(zhǔn)，不要太跳脫，不要去隨意的評論別的觀點。

我認為它在設(shè)計獎勵模型的時候，就已經(jīng)能把這樣的一些偏見規(guī)避嵌入到其中了。這個就是你剛才提的人工標(biāo)注。

因為我們以前在大模型訓(xùn)練的時候，往往是用微調(diào)的方法，也就是用新的大模型的文本數(shù)據(jù)去讓大模型學(xué)會新的說法。而ChatGPT是相當(dāng)于構(gòu)造了一個類似于判定的老師，這個老師的判定是有一些標(biāo)準(zhǔn)的，然后它不斷地去告訴那個老師，不斷地跟老師去battle，來調(diào)整自己的行為模式和說話方式，使得它最終能夠符合老師的標(biāo)準(zhǔn)。

這是一個比較有意思的創(chuàng)新，使得它目前的表現(xiàn)，無論從內(nèi)容的扎實度，回答的有效性，還有像你說的，比較中庸的說話方式，都會受到 reward model 的影響。這就是人工標(biāo)注的一種全新的使用方式。這給很多做大模型訓(xùn)練的人打開了一個新的空間和一個新的可能性。

《硅谷101》：人工標(biāo)注是不是指，比如我來問它一些問題，當(dāng)大家回答的時候，你來告訴它哪一種回答是最好的。

陶芳波：它有兩種標(biāo)注方法。第一種標(biāo)注方法是直接讓真人去寫答案，直接喂給它，讓它去學(xué)會當(dāng)遇到這樣的問題的時候，真人應(yīng)該怎么回答。有點像是中國的那種填鴨式教育，在背的過程當(dāng)中，讓你學(xué)會怎么去回答問題。另外一種就是你剛才提到的，我去訓(xùn)練一個判斷的模型。判斷的模型會說你給我這 3 個答案里面，哪一個答案是我最想要的？把模型訓(xùn)練好了之后，ChatGPT 就可以不斷地產(chǎn)生新的答案。針對不同的問題，判斷的模型會不斷地給它反饋我到底想要哪個答案。最后它不斷地調(diào)整自己，使得它找到適合最終他想要展現(xiàn)的那種判斷方法。

《硅谷101》：我覺得訓(xùn)練 AI 的方法還挺有意思的，跟訓(xùn)練小朋友也是有一點點像的。芳波我們之前有聊到，OpenAI在大概2022年 3 月份的時候發(fā)了一個 GPT-3的論文，之后發(fā)了一個 instruct GPT 的一個論文。

陶芳波：ChatGPT, 就像家輝剛才講的，因為它背后還是基于 GPT 來訓(xùn)練的，尤其是基于 GPT-3.5 來訓(xùn)練的。 GPT-3.5你可以理解為是比 GPT3 又加入了代碼的能力。所以它會用所有的互聯(lián)網(wǎng)上的文本數(shù)據(jù)，加上它能找到的所有的代碼的數(shù)據(jù)，一塊來訓(xùn)練它。因此它本身的模型里面已經(jīng)擁有了幾乎全部的常識。所有的大模型訓(xùn)練好之后就已經(jīng)擁有常識了。而 ChatGPT，包括 instruct GPT，做的是如何構(gòu)造一種理解的方式，讓 ChatBot 可以更好地去使用這些常識，理解這些常識。但它的訓(xùn)練，哪怕它的微調(diào)的部分數(shù)據(jù)量很少，也不影響它背后的知識是無窮大的。

余家輝：你可以理解為 instruct GPT 相當(dāng)于提供一種方法。當(dāng)然，芳波也提到了這個概念相當(dāng)于：第一步是做一些標(biāo)注，比如給你一些問題，然后人工地去給一些答案；第二步就是這種判別式地給一些標(biāo)注，就是說，現(xiàn)在機器或者大模型給你一些答案，然后人來判斷哪個好哪個差，整個方法應(yīng)該是不變的。但是具體上，對于每一個步驟，比如生成性的這種標(biāo)注，大概用了多少人工人力，多少的數(shù)據(jù)量，其實都還不知道。

陶芳波：對，相比之下，最后用來做人工標(biāo)注的部分，比起它一開始的訓(xùn)練，數(shù)據(jù)，肯定是少得多的。因為一開始的數(shù)據(jù)是非標(biāo)注的，它可以拿互聯(lián)網(wǎng)上所有的數(shù)據(jù)。你可以理解為幾十億的人類在過去幾十年積累的文本數(shù)據(jù)來訓(xùn)練它。而在 ChatGPT 自己公開的一個介紹里面會說，它大概用了一個 40 人左右的標(biāo)注團隊來完成對它的數(shù)據(jù)的打標(biāo)和微調(diào)。所以 40 個人的數(shù)據(jù)相比于整個人類社會的互聯(lián)網(wǎng)數(shù)據(jù)，再多也只是九牛一毛而已。這個是比較有意思的一個點，就是在不成比例的數(shù)據(jù)情況下，還是可以給它帶來很大的性能上的變化。我覺得這個是ChatGPT 這次給我們展示的一個很有意思的地方。

04 對比Siri： 底層能力不一樣

《硅谷101》：我接下來問一個特別小白的問題，我覺得可能不是很了解聊天機器人的人會關(guān)心 ChatGPT 跟蘋果的 Siri 有什么不一樣。

陶芳波：從我的角度來講， ChatGPT 的優(yōu)勢是在于它有一個無限的開放域，它可以在一種通用的描述下去完成通用的任務(wù)。它相比于傳統(tǒng)的聊天機器人，比方說Siri，比方說我們知道的Alexa，甚至包括天貓精靈，這樣不同的一個工作特點。因為它背后的大模型在做得足夠大之后，它就具有通用性的解決問題的能力了，并且可以使用整個通用的互聯(lián)網(wǎng)的常識來解決。

而傳統(tǒng)的聊天機器人，因為已經(jīng)存在很久了，它并不是一個新的概念。它們往往有幾個特點。它首先是垂直的，意思是它可能只能解決一個行業(yè)的問題。第二，它可能需要為一個行業(yè)特定的問題去做專門的訓(xùn)練。比方，我需要先訓(xùn)練一個分類模型來理解一個用戶這句話的意圖，然后再把它導(dǎo)到一個合適的處理模塊里面。所以它整個部署的成本和它使用的通用性會比 ChatGPT 這種要少很多。但是它也有它的優(yōu)勢。

今天 ChatGPT 雖然你看到了一些小缺點，比如你剛才提到了一個它目前比較中庸的問題，但其實它還有一些更大的缺點——由于它依賴的是背后的常識，而沒有辦法使用真正的，公開的數(shù)據(jù)去驗證它的正確性，所以它有的時候會經(jīng)常說一些錯誤的事實。比方如果你問它，為什么 CPU 會比 GPU 更快，更有利于去做 AI 的推理，它會說是的，我認為 CPU 會比 GPU 更快，因為什么什么什么。它會順著你說，編造一個它覺得合理的邏輯。但事實上，它所說的事實本身就是錯誤的。我看到的一個趨勢是未來可以把這兩個東西結(jié)合的更好一些，也就是說既能夠有這種開放域通用問題的處理能力，但同時又可以對這種事實性的或者專業(yè)技能型的東西有更好的融入。

余家輝：我覺得芳波的總結(jié)是非常到位的。ChatGPT是基于大語言模型的。蘋果 Siri 或者其他聊天機器人，可能絕大多數(shù)上還是 search based和 rule based。這里也不好說誰好誰壞。這里要解決的問題也是像芳波所提到的，是不是足夠的準(zhǔn)確，是不是尊重事實。這是作為聊天機器人真正商業(yè)化的時候必不可少的一些能力。

05 ChatGPT與AlphaCode 會不會取代程序員

《硅谷101》：我看見最近不僅僅是 ChatGPT，其實還有谷歌的 Alpha code，連續(xù)登上了最好的兩本雜志，一本是《科學(xué)》，一本是《自然》。像 Alphacode，它已經(jīng)在一個國際的編程大賽中大概是達到了 1238 分。這個意味著什么？換句話說，它在人類的參與者中排名占到 了54. 3%，相當(dāng)于它是一個人類中等偏上的程序員的水平了。自然雜志就更直接了，他用的標(biāo)題就是《 ChatGPT 跟 Alpha code，它們未來會不會取代程序員？》你們怎么看這個問題？你覺得它會取代程序員嗎？

余家輝：先說一個簡單回答，取代程序員現(xiàn)在來看還是有點早。我能想象，不管是ChatGPT 或者像是 AlphaCode，很多時候它能幫已有的程序員去優(yōu)化一些現(xiàn)有的步驟。比如我們平時寫 code 的過程中，也是有人寫，也有人看，看寫的到底是不是對的。在這個過程中，比如像 AlphaCode 或者 GPT-3.5，它能寫一部分的code，然后程序員來做review。這種是可行的，但這并不意味著它能取代程序員。如果是完全取代程序員，可能會帶來一些問題，比如讓整個系統(tǒng)出現(xiàn)一些問題。《硅谷101》：是不是有可能會把整個系統(tǒng)寫垮，對嗎？

余家輝：對，寫垮或者系統(tǒng)癱瘓的時候，你也不知道怎么debug。如果最后還是人來debug的話，可能一下子也找不到它寫的代碼哪里有問題。

陶芳波：我說一個比較有意思的事情，就是 ChatGPT 出來大概 10 天的時間，我對它還是比較樂觀的。但是我同意家輝講的，對于真正的復(fù)雜的系統(tǒng)架構(gòu)的設(shè)計，包括整個代碼結(jié)構(gòu)的一些設(shè)計，可能真人，無論是初級程序員還是高級程序員，對于它的理解能力都還是會比 ChatGPT 更強。

但我已經(jīng)可以看到 ChatGPT 能夠提升效率了。所以從 2022年12 月開始，我們公司已經(jīng)在嘗試，去探索一下 ChatGPT 到底怎么樣能夠引入到我們的整個開發(fā)流程當(dāng)中。我們想看看它到底可以在哪些功能的模塊，哪些環(huán)節(jié)提升我們對于開發(fā)的效率。

至少我覺得，因為 ChatGPT 的代碼訓(xùn)練中，很多數(shù)據(jù)來自于類似Stack Overflow這樣一些代碼問答的網(wǎng)站，所以我們會發(fā)現(xiàn)它做簡單的任務(wù)其實做得還蠻好的。包括一種新的語言里面某個庫應(yīng)該怎么去使用，以前我們可能要查很多 post 才可以總結(jié)出來，現(xiàn)在它可以直接根據(jù)你大概的需求幫你寫好。這個方面我覺得肯定是可以提效的。

但是如果最后所有的程序員都依賴于現(xiàn)在這個版本的 ChatGPT ，它對于系統(tǒng)的穩(wěn)定性還是有很大的挑戰(zhàn)。

06 AI大模型 為何崛起？

《硅谷101》：我們剛剛其實有聊到 ChatGPT 最近非常非常的火爆。其實不僅僅只是 ChatGPT ，包括我們之前聊到的 AIGC ，包括 OpenAI 的DALL·E 2。我很好奇這一輪整個 AI 大模型，它的浪潮是怎么樣發(fā)展起來的？因為家輝我知道你也在做這方面的研究，最開始你是怎么注意到這個浪潮的？為什么現(xiàn)在生成式 AI 突然火起來了？

余家輝：這個是一個很好的問題。如果你形容它是浪潮，前面有不少這種鋪墊。

首先，互聯(lián)網(wǎng)上有大量的數(shù)據(jù)。比如在社交媒體或者Reddit 這種論壇上，大家都開始發(fā)表自己的一些觀點。在大語言模型下面，這些都相當(dāng)于是養(yǎng)料，它能拿這些數(shù)據(jù)做訓(xùn)練。所以數(shù)據(jù)是幾十年來一直在積累的一個東西。

第二就是計算，計算包括 GPU 和 TPU，這些計算其實也是必不可少的一部分。很多時候我們看到的機器學(xué)習(xí)的任務(wù)都是模型在小規(guī)模上就已經(jīng)能處理，比如說 80% 的task。然后把模型變大一點，計算資源更多一點，就發(fā)現(xiàn)能處理到 80% 的準(zhǔn)確率。

Emerging capability（展現(xiàn)出來的潛在能力） 的意思是，這個模型它一開始不能處理任務(wù) ，很差很差，比如 2% 的成功率。當(dāng)這個模型大到一定程度的時候，突然它具備了這種能力。在某個特定的模型大小下面，成功率也是指數(shù)級上升的。有了這個發(fā)現(xiàn)之后，大家就開始嘗試去擴大模型。剛好計算資源也在這個時間點上已經(jīng)足夠去 支持這種大語言模型的訓(xùn)練。這個也是必不可少的一點。

第三個是 neural architecture(神經(jīng)網(wǎng)絡(luò)架構(gòu))。比較火的是 Transformer （Transformer是神經(jīng)網(wǎng)絡(luò)架構(gòu)中的一種）的這一類架構(gòu)。但其實 Transformer 之前也有不少的這種積累，比如像 ResNet。Transformer 的這種架構(gòu)也非常方便，非常容易去擴張，它沒有特別嚴(yán)重的優(yōu)化問題。有了這種神經(jīng)網(wǎng)絡(luò)架構(gòu)之后，我們才能看到語言模型具備這樣能力。

陶芳波：其實我覺得家輝講得很好，包括 transformer 架構(gòu)的價值，和整個模型達到一定程度涌現(xiàn)出來的一些可以解決通用問題的能力，基本上就是大模型本身發(fā)展的背后的幾個技術(shù)基礎(chǔ)。

我稍微再加蠻有意思的兩點。第一個是因為我們自己是做腦啟發(fā) AI 的一家公司，我們會經(jīng)常去結(jié)合腦科學(xué)來看 AI 的一些技術(shù)。然后你會發(fā)現(xiàn) transformer 它的結(jié)構(gòu)和人腦里面的整個 neocortex （新皮層）一個 6 層的神經(jīng)元之間的結(jié)構(gòu)是有一定相似度的。

這種結(jié)構(gòu)本質(zhì)上具有一個通用性，就像今天Transformer，既可以用來處理視覺的數(shù)據(jù)，也可以用來處理文本的或者其他模態(tài)的數(shù)據(jù)。我們?nèi)四X里面的新皮層的部分也是不同的腦區(qū)的心皮層本質(zhì)上結(jié)構(gòu)沒有區(qū)別，只是在任務(wù)上做了分塊而已。所以這個是很有意思的。等于說我們找到了一個類似于人腦新皮層那樣的通用的神經(jīng)網(wǎng)絡(luò)架構(gòu)來處理、承載不同的任務(wù)類型。

第二個， OpenAI 這個組織在生成式大模型是有大貢獻的，因為我覺得沒有 OpenAI 就不會有現(xiàn)在的 generative AI（生成式AI）。它通過 DALL·E 也好，通過 GPT-3 也好，本質(zhì)上它能力非常強，能把技術(shù)通過一套很好的工程的體系去實施出來交付出來。

所以 OpenAI 它和其他的公司和其他的學(xué)術(shù)的組織最大的區(qū)別就是他非常注重engineering，包括 ChatGPT這件事情，它也知道怎么樣去控制數(shù)據(jù)的質(zhì)量，怎么樣去把每一個環(huán)節(jié)做到非常好，再用一種科學(xué)的方法，通過工程師的放大的效應(yīng)，放大了杠桿，把它的效果做到極致。這是它獨特的價值。

所以 ChatGPT今天出來了之后，我其實是會懷疑另外一家公司有沒有可能像它那樣，可以更快地把這件事情給做出來。

《硅谷101》：你指的另一家公司是誰？是 DeepMind 嗎？

陶芳波：有很多，包括Facebook，包括Google，包括DeepMind，包括國內(nèi)的阿里騰訊。因為大模型本身目前來看還是大玩家的一個角力場，這些大玩家肯定每一家都希望有自己的一整套世界領(lǐng)先的大模型的架構(gòu)。它背后如果沒有一套很強的工程能力在支撐，只是靠大力出奇跡，我覺得也是不一定能達到這樣的效果。

07 “大力出奇跡”不完全適用， OpenAI的四大優(yōu)勢

《硅谷101》：因為之前在分享 GPT3 的時候就說了，最開始 GPT-3 證明了對足夠多的數(shù)據(jù)與算力，我們就可以大力出奇跡。所以現(xiàn)在你覺得，并不是比如像谷歌或者Meta，或者阿里或者騰訊這樣的公司去做了，就可以大力出奇跡，而是還有一些技巧在里面的是嗎？我在想，OpenAI的核心競爭力是什么呢？

陶芳波：對，我是認同這一點的。我一直在看一個事情，就是谷歌在推自己的LaMDA。LaMDA 本身也不只是今年才出來的，它之前已經(jīng)有好幾年一直在做這個事情。它的目標(biāo)我覺得和 ChatGPT 是類似的。谷歌可能也從某種程度上希望自我迭代，把它的搜索能力借由這樣的大模型來提升。但是從公開出來的信息和它的使用的樣例來看，其實 ChatGPT 的在對大模型的使用上比 LaMDA 是要強的。而它背后，大家的路線其實還是比較類似的，因此還是有一整個 engineering Excellence 在里面。

《硅谷101》：LaMDA 現(xiàn)在應(yīng)該是沒有開源的對吧？

陶芳波：對，沒有開放。

《硅谷101》：對，準(zhǔn)確的說應(yīng)該是沒有開放。我記得之前谷歌在 Google I/O 上有展示用 LaMDA 去訂餐，對面其實是一個人工智能的助手接起來的。它的模擬場景就非常像一個真實的人，你可以點餐，可以說你要什么，它可以跟你share。但這只是一個 demo 的場景，它并沒有真實地發(fā)生。

陶芳波：對，我理解是這樣的。但是 LaMDA 做了其他的事情，是真的把外部的信息接入了。所以根據(jù)它的文章里面的描述，LaMDA 的使用的過程當(dāng)中是可以在互聯(lián)網(wǎng)上拿實時的信息來幫助它提升它的回答質(zhì)量。這點可能 ChatGPT 沒做好。

《硅谷101》：對，因為谷歌它畢竟還是有一個搜索的入口的。如果谷歌來做這件事情，你會覺得它比 OpenAI 更有優(yōu)勢嗎？

陶芳波：我的觀點是這樣的 OpenAI 今天想要完全去替代掉谷歌，世界上最大的搜索引擎，那么它的成熟度還有很大的差距，因為搜索這件事情對產(chǎn)品的成熟度要求很高。比方說更多模態(tài)的搜索的內(nèi)容，而這些事情只有谷歌能做到。GPT 還是一個對話引擎，它做不到這些。但是目前來看，我認為它在通過對于大模型的使用和它這回答的整個調(diào)優(yōu)上面，ChatGPT 是有優(yōu)勢的，而且這種優(yōu)勢并不是簡單的 follow 他的方法就可以做到的。因為家輝也說了，它并沒有公開它的細節(jié)。

在這件事情上，如果它的優(yōu)勢可以保持足夠長的時間，再加上 WebGPT 的能力，以及把一些多模態(tài)的信息整合進到它的回答里面，可能它會在更大程度上去代替谷歌能做到的事情。直到有一天，我們覺得也許它們真的是可以對比，甚至是在使用的時候會真的值得在兩者之間選擇。

余家輝：對，這里補充一點，我講到了OpenAI的優(yōu)勢除了數(shù)據(jù)和算力之外，還有一個是對工程的感覺。

對于 OpenAI 來講，首先它有一定時間的積累。最早 OpenAI 其實是做了很多強化學(xué)習(xí)的。它們有機器人團隊，但后面就解散了。現(xiàn)在你又能看到在大語言模型里面，它們重新把強化學(xué)習(xí)利用起來。這些時間和這些經(jīng)驗的積累，是一些其他的公司都還比較缺少的。這是第一點優(yōu)勢。

第二，他們的成功需要一個人才積累。這個人才積累，并不是說錢給夠了，人就會來。是不是有足夠好的領(lǐng)導(dǎo)力，是不是這些人以前有沒有一個成功的經(jīng)歷，我覺得也是必不可少的。

如果你說現(xiàn)在我們有了數(shù)據(jù)，有了算力，剛成立起來做一個團隊，其實很難去吸引到這樣的人才。還有一點優(yōu)勢有點像是組織邏輯的積累。OpenAI 背后在思考這些團隊之間應(yīng)該怎么去組織，使得整個公司的這樣一個使命更加的高效去把這個東西做出來。這也是需要一定的積累的。

最后還有一點，在我看來是這種自信的積累。OpenAI 在整個 AI 往前去推動的過程中，有一個很好的成功的積淀。我們提到的 GPT-3，它已經(jīng)是第三個版本了，最早有 GPT，GPT 2， 然后是 GPT-3 和 GPT-3.5。GPT-3.5 完了之后，它有一些往應(yīng)用上發(fā)展的工作。像我們剛才所提到的 ChatGPT， WebGPT，還有傳說里的 GPT-4。

這些成就也是一定程度上一邊做一邊積累了自信，從而可以更好地延續(xù)這種成功。所以對于原先的問題，是不是有足夠多的數(shù)據(jù)和算力就能訓(xùn)練這樣的模式，我覺得是遠遠不夠的。比如我只要堆數(shù)據(jù)，堆算力，就可以成功，但其實真的做起來的時候，發(fā)現(xiàn)全部都是問題。這是我的觀點。

《硅谷101》：我總結(jié)一下，說的特別好，時間跟經(jīng)驗的積累，人才積累、組織積累，還有自信的積累。也就是說，即使一個公司有數(shù)據(jù)跟算力，最后它的效果能不能達到 OpenAI 的效果，或者花幾年的時間，它能不能追趕得上，可能都是一個問題。

陶芳波：家輝講得特別好。除了剛才你提到的，還有一個認知的積累。OpenAI 在推動大模型，尤其是自回歸的大語言模型的使用上面，在不斷地嘗試定義它自己的問題。

比方 Alignment research（是指引導(dǎo)人工智能系統(tǒng)的行為，使其符合設(shè)計者的利益和預(yù)期目標(biāo)），這其實是他們花大精力投入的，而很多其他的機構(gòu)沒有在投入，或者說我不相信會有像他們那樣的投入。
比方說，他們?yōu)槭裁磿霃娀瘜W(xué)習(xí)，是因為他們認識到了大模型雖然知識面很廣，能力很強，很通用，但并不知道怎么去更好地把新的標(biāo)注清晰，把人的監(jiān)督的信號更好地融入進去，所以他們才會再重新?lián)炱饛娀瘜W(xué)習(xí)來做這件事情。
因此這些創(chuàng)新性的方法，代表了它背后其實不斷地在認知上去探索大模型的使用邊界。這個不是一家跟隨他們公司可以很短期內(nèi)追得上的。也許我們可以抄到他們的做法，但是抄不到他背后的整個思考。

《硅谷101》：你怎么看像 Google 或者 Meta 這樣一直有在研究的公司呢？像Meta，它前一段時間也放出來消息說它可以自動生成視頻。谷歌里面有DeepMind這樣的的組織，也是非常類似于 OpenAI 的機構(gòu)，同時它也有各種圖片生成式的研發(fā)，包括 LaMDA 這種聊天機器人的。這樣的研發(fā)，它其實方方面面都有觸及到。你覺得它跟 OpenAI比的話，它能跟得上嗎？

余家輝：大公司比較成熟的這種 Research Lab（研發(fā)實驗室），我覺得對他們來說，其實真正重要的并不是能跟隨整個研究，而應(yīng)該是怎么繼續(xù)去推進前沿或者去思考下一個 里程碑在什么地方，他們應(yīng)該要去看這種問題。這個方面來說，我覺得 OpenAI 是有一定的優(yōu)勢。在目前，OpenAI在一定程度上不斷地在創(chuàng)建下一個里程碑。

《硅谷101》：剛剛芳波你在回答問題的時候，你有提到OpenAI，它能不能替代谷歌，你覺得在現(xiàn)階段可能它還是挺難的。我說一下我自己的幾個小體驗。我之前有在谷歌上搜索，比如一個 2 歲的兒童，他應(yīng)該每天攝入多少脂肪。谷歌搜索給我的一些答案都是一些非常泛泛而談的新聞稿，比如 0.5 歲，或者是1 到 2 歲，各自應(yīng)該攝入多少。這些結(jié)果是一個非常泛的東西，我并不能從他的文章中得到我需要給一個 2 歲的兒童每天攝入多少脂肪的信息。但是我在 ChatGPT 上問了一下這個問題，它給我的回答非常好，大概分了幾個層次告訴我，你應(yīng)該根據(jù)小朋友的體重，有一個數(shù)據(jù)公式給你去計算，最后得到的是應(yīng)該攝取的脂肪量。然后它還告訴我通用的標(biāo)準(zhǔn)是什么。

我當(dāng)時看了以后，我不能確定他的回答是正確還是不正確，因為就像你說的，它有時候的回答是錯誤的。所以我又問了 ChatGPT 一個問題，一個女性每天應(yīng)該攝入多少糖。它同樣也是除了告訴我一個通用的數(shù)據(jù)以外，還有一套方法怎么樣去計算女性的攝入的糖數(shù)。因為我是知道女生應(yīng)該攝入多少糖的，所以我知道這個問題的答案。因此我覺得他的回答是正確的。反推到上一個問題，我好像可以相信他。從這個點上，我會覺得好像 ChatGPT 會比谷歌在使用上更容易，但是同時它可能也會有不精準(zhǔn)，或者有很多實時信息，沒有辦法去更新的問題。

08 ChatGPT pk Google： 降維打擊

《硅谷101》：你們覺得站在現(xiàn)在的角度看，ChatGPT還不能替代谷歌。但是站在未來的角度看，它有更多的數(shù)據(jù)，更精準(zhǔn)的調(diào)配，和包括大家提到的WebGPT 的加入。那么我們從更長遠的一點角度看，你們覺得他會是谷歌的一個競爭對手嗎？

陶芳波：我簡單說一下，剛才我也提到過了，如果我們把一個人對于信息的需求，尤其是主動式的信息需求分為幾個步驟，第一步就是意圖的理解，第二步去尋找合適的信息，第三步可能就是尋找完合適的信息之后做理解和整合，第四步可能就是回答。谷歌以前做得很好的幾個點包括意圖的理解，包括信息的匹配和尋找，包括它的呈現(xiàn)。其實這幾步它做的都很好，但它其實一直在嘗試對信息的理解和整合這步做的更多。你有的時候可以看到谷歌可以直接回答一些簡單的問題，而這些答案會放在所有的頁面之前。或者它右邊有一個叫 entity panel （knowledge panel）的部分，可以直接把相關(guān)的知識用結(jié)構(gòu)化的方式呈現(xiàn)出來。

其實谷歌在做這件事情上面花的時間會更長，只不過今天技術(shù)的發(fā)展讓大家覺得其實對于知識的理解和整合這件事情其實用大模型來做會更好，而且它的效率會遠遠高于其他以前的技術(shù)。比如，相比于對于問題分類，如果是個天氣問題，我就去查天氣這種傳統(tǒng)的對話機器人的方法，大數(shù)據(jù)模型會好很多。這就是ChatGPT 今天的優(yōu)勢。

所以 OpenAI 和谷歌可以理解為是在整個人對于信息需求的幾個環(huán)節(jié)里面，各自占有一些優(yōu)勢。至于未來要發(fā)展的話，谷歌肯定也會更多的往理解的層面去走，ChatGPT 可能也會更多的往信息的匹配角度去走，比如說把 WebGPT 的東西融合進來，誰能更快，誰能把串在一起的體驗做到更極致，我相信它未來有機會成為下一代的信息檢索引擎中的一個。或者說，它都不應(yīng)該叫信息檢索引擎了，而應(yīng)該叫做個人助理。

余家輝：芳波提到的最后一句，也說的非常好，它到底是不是還能叫做信息檢索的引擎？有可能我們換一個角度來思考這個問題，我們應(yīng)該考慮的并不是 ChatGPT 是不是顛覆這種搜索引擎的問題，而是應(yīng)該思考 ChatBot 和這種搜索引擎之間的關(guān)系會是怎么樣。

一定程度上，我在想， chat 或者對話這個東西本身它是一個比較完備的載體，你能從一定程度上做你想做的幾乎所有事情，而這其中包括搜索引擎上的事。但它其實也不局限于搜索引擎上。因為剛才泓君所提到的案例，它還是一問一答的這么一個情況，而它其實能做的更多，它可以提供追問的答案。

現(xiàn)在的搜索引擎不具備這種體驗。所以我們在比較的時候，一定程度上是有一點在小看ChatBot 所能帶來的顛覆。我自己對 ChatBot 的整個未來的應(yīng)用場景是非常看好的。當(dāng)然它現(xiàn)在的狀態(tài)還是需要提高。

余家輝：技術(shù)上還是需要提高，但是 ChatBot 這個東西或者載體，它是非常有應(yīng)用場景的。一定程度上它的應(yīng)用遠大于一問一答式的，或者搜索式的。ChatBot，能做得比這遠多得多的。我們在討論的并不是能不能顛覆Google，而是它到底能帶來怎么樣的一個用戶體驗，或者能解決用戶剩下的哪些還沒被解決的一些痛點？

《硅谷101》：你們覺不覺得有一點像高維打低維？

陶芳波：我很同意。

余家輝：對，降維打擊，ChatBot 確實是有這種能力。

陶芳波：對。我稍微補充一個觀點，我看泓君也問了一個很有意思的問題，跟創(chuàng)業(yè)機會有關(guān)的。今天我們看到，更多的人是在說他到底能不能替代谷歌，但是從整個互聯(lián)網(wǎng)的角度來講，你會發(fā)現(xiàn)谷歌也只是其中一個很重要的信息服務(wù)，但不代表互聯(lián)網(wǎng)全體，對吧？移動互聯(lián)網(wǎng)里面每一個特殊的場景，我們都有各自的APP，我們有各種各樣的網(wǎng)站來解決人的各種各樣的信息需求，服務(wù)需求，甚至陪伴需求。我看到的其實更多的是后者滿足的需求。

如果我們說 AI 可以是一個比互聯(lián)網(wǎng)更大的機會，我相信被它重做的東西絕對不只是谷歌而已，而是我今天所有的軟件的服務(wù)。無論它是用 APP 的形式，還是用一個網(wǎng)頁的形式，它可能都可以被這種交互式的、角色式的能力給包起來，然后更自然地提供它的那些服務(wù)。這種能力的出現(xiàn)，其實是有可能重塑整個互聯(lián)網(wǎng)行業(yè)的。所以這兩天我聽到有一個投資人在說，ChatGPT的出現(xiàn)，讓他覺得他做 TMT 的投資可以再做 15 年。他說這話的原因也在這里。

可能以前我們對于人需求的滿足，都是用一個 APP 或者一個軟件來用信息化的方式更好地滿足它。但也許今天我們到了一個新的拐點，可以把信息化再提升到一種基于對話為中心的服務(wù)上面。所以這里面機會是巨大的，而谷歌只是其中很小的一部分而已。它底下會有產(chǎn)生很多平臺級的機會，甚至可以產(chǎn)生它自己的安卓系統(tǒng)，是非常令人興奮的。

《硅谷101》：所以類似于像 ChatGPT，尤其是像 OpenAI 大模型這樣的公司，它會成為未來的一個平臺跟一個基礎(chǔ)建設(shè)。