2023成都積分入學什么時候開始申請
2023-01-31
暴揍人類玩家，AI改變游戲未來？
更新時間：2022-10-18 14:38:28作者：智慧百科
導讀：人工智能技術(shù)五天內(nèi)就能擊敗玩家上億次，這對于游戲行業(yè)的未來意味著什么？
（觀察者網(wǎng)訊 文/周昊 編輯/莊怡）從雅達利公司在1972年推出第一款電子游戲《Pong》開始，由電腦控制的AI就成為了游戲內(nèi)容中不可或缺的一部分。
半個多世紀以來，雖然電子游戲的載體和形式發(fā)生了翻天覆地的變化，但基于游戲開發(fā)者制定的規(guī)則并運行的“傳統(tǒng)游戲AI”實際上并未跳脫出它一開始所誕生的范疇——“什么情況下做什么的若干規(guī)則的整合”。
直到近些年，大幅進步的人工智能通過不斷在游戲內(nèi)進行驗證，在大幅提升自身技術(shù)的同時，也為游戲行業(yè)帶來了一場新的“智械危機”。
游戲之內(nèi)：近乎無解的高手
今年十一假期期間，網(wǎng)易旗下國產(chǎn)端游《永劫無間》進行了一項新的測試，有著“新員工”之稱的“噩夢AI”在短短五天內(nèi)便擊敗玩家上億次，提前完成了業(yè)績指標。
《永劫無間》噩夢AI發(fā)布戰(zhàn)報
“噩夢AI”是一個目標被設(shè)定為在取勝的同時“如何在實戰(zhàn)中高效擊敗玩家”的人工智能角色，通過學習，“噩夢AI”不僅能夠在游戲中熟練使出各種高難度操作，甚至還能觀察當前的對局環(huán)境、戰(zhàn)場態(tài)勢等，并做出提升尋路效率、采用迂回作戰(zhàn)等對應的最優(yōu)解。
需要注意的是，“噩夢AI”強大的對局能力并非是通過讀取后臺數(shù)據(jù)“作弊”來實現(xiàn)，而是通過對游戲進程推進觀察所做出的實事應對；換言之，從玩家角度來看，與之對局的“噩夢AI”其行為模式更像是一個“游戲超級高手”。
網(wǎng)易伏羲AI研究&技術(shù)落地負責人呂唐杰在接受《觀察者網(wǎng)》采訪時確認，此次《永劫無間》噩夢人機模式背后的AI是結(jié)合深度神經(jīng)網(wǎng)絡(luò)及強化學習方法，在設(shè)定任務(wù)目標后，通過AI之間的自我對弈訓練，最終人為挑選后產(chǎn)生，AI在游戲中獲取的數(shù)據(jù)范圍及數(shù)值屬性，與真實玩家間不存在差異。
“噩夢AI”取得的超神戰(zhàn)績事實上僅僅是近年來AI技術(shù)進入游戲產(chǎn)業(yè)后的一個縮影。過去數(shù)年間，AI技術(shù)已經(jīng)從環(huán)境相對簡單的棋牌類游戲進入到對局信息更為復雜的對抗類游戲之中。
比如2016年AlphaGo橫空出世，成為首個擊敗人類圍棋世界冠軍的AI；隨后在《王者榮耀》、《星際爭霸2》、《Dota 2》等復雜對局類游戲中，AI組成的隊伍也連續(xù)擊敗了大量職業(yè)戰(zhàn)隊。
騰訊AI Lab游戲AI研發(fā)中心總監(jiān)付強曾分享過一組數(shù)據(jù)：《王者榮耀》的AI“絕悟”初進入游戲時只會在泉水發(fā)呆，但兩個小時后就能夠打贏內(nèi)置規(guī)則的傳統(tǒng)AI；當學到20個小時后基本可以達到王者水準，而學習達到100多個小時后，“絕悟”已經(jīng)可以在固定陣容上比較容易打贏職業(yè)選手，“‘絕悟’一天的訓練量就相當于人打游戲150年，在游戲內(nèi)的勝率更是超過了98%”，付強表示。
呂唐杰也向《觀察者網(wǎng)》強調(diào)，AI技術(shù)跟游戲本身是一種相輔相成的關(guān)系。游戲作為研究和驗證AI技術(shù)的絕佳場景，在AI技術(shù)的發(fā)展過程中起到了至關(guān)重要的作用，無論是最初的AlphaGo、還是后來的OpenAI Five、AlphaStar等，AI研究團隊都是通過復雜的游戲場景來反復打磨AI算法、驗證技術(shù)效果，這極大地促進了AI行業(yè)算法、模型結(jié)構(gòu)以及大規(guī)模分布式計算等技術(shù)的發(fā)展。
可以說，正是游戲行業(yè)與AI技術(shù)的深度融合，使得AI技術(shù)在算法研究、神經(jīng)網(wǎng)絡(luò)架構(gòu)探索以及大規(guī)模分布式計算等領(lǐng)域取得了飛速的發(fā)展。
游戲之外：AI點亮未來
與在游戲內(nèi)通過強化學習扮演一個超級高手相比，AI技術(shù)在游戲之外的開發(fā)、運營等環(huán)節(jié)所展現(xiàn)出的自然語言處理、計算機視覺、語音合成、數(shù)據(jù)挖掘等技術(shù)力則更為廠商所青睞。
AI技術(shù)的三大要素是算法、算力和數(shù)據(jù)。目前游戲行業(yè)的算法研究比較開放，全球的AI研究員都可以及時跟進最前沿的技術(shù)方案，而相對應的，算力和數(shù)據(jù)則成為了各家公司的技術(shù)壁壘。
當前，國內(nèi)主流游戲廠商如騰訊、網(wǎng)易、米哈游、字節(jié)跳動等大廠均成立了各自的游戲AI Lab，雖然游戲廠商對AI技術(shù)的應用有著各自的側(cè)重，但整體的前進路徑卻是大同小異。
呂唐杰也表示，AI技術(shù)可以在游戲開發(fā)階段大大提升游戲團隊的制作效率。
比如語音合成表情技術(shù)，可以讓游戲角色通過配音直接輸出角色表情，相比于傳統(tǒng)人工手繪表情的解決方案，工作效率提升上百倍；
比如使用AI技術(shù)可以快速地將演員或視頻中角色的表情、動作等遷移到游戲內(nèi)的角色模型，相比于傳統(tǒng)的基于動作捕捉的方案也能顯著提升產(chǎn)出效率、降低制作成本。
在游戲的日常運營過程中，AI反外掛技術(shù)也可以作為傳統(tǒng)反外掛技術(shù)的有效補充，通過讀取分析玩家在游戲中的行為數(shù)據(jù)，AI可以快速識別出異常行為玩家，比如在《永劫無間》中，基于AI的反外掛方案抓到的外掛已經(jīng)占到所有方案的60%以上。
“AI點亮游戲未來，” 呂唐杰給出了自己對游戲AI技術(shù)的理解：“從技術(shù)角度來理解，先進的生產(chǎn)力一定會取代落后的生產(chǎn)力，主流游戲都在積極擁抱以神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)的新一代人工智能技術(shù)強化學習、人工智能，這是一個讓人興奮的趨勢?！?/p>
值得注意的是，目前國內(nèi)在數(shù)字基建方面的投入強有力地促進了游戲AI技術(shù)的快速發(fā)展。
呂唐杰也強調(diào)，通過集團自建并與阿里云、華為云等公有云計算提供商以及國內(nèi)超算中心的深度合作方式，網(wǎng)易伏羲搭建了一個擁有數(shù)萬CPU和上千GPU的計算集群，并擁有PB級的數(shù)據(jù)處理能力。
“強大的數(shù)字基建為游戲AI技術(shù)的研究和應用保駕護航，也正是依托這些數(shù)字基建，我們才能研發(fā)出像永劫無間機器人、魔獸世界反外掛、AI照片捏臉、智能對話機器人等優(yōu)秀的技術(shù)落地案例?！?/p>
呂唐杰坦言，目前游戲中存在的很多NPC均是用傳統(tǒng)基于規(guī)則的方案制作，與玩家的交互也是機械式的問答，玩家的沉浸感并不強，基本上“有多少人工，就有多少智能”；但隨著大模型預訓練技術(shù)的發(fā)展，未來游戲策劃只需要給怪物、NPC賦予故事背景和人設(shè)，并設(shè)定好他們的行動空間，剩下的就可以交由AI，讓其通過學習大數(shù)據(jù)完成智能水平的提升，從而讓玩家體驗到NPC的鮮活感，也讓游戲真正有可能變成一個自由開放的世界。這對于玩家而言，每一天乃至每一個玩家的每一次的游戲體驗均會有所不同，也會讓玩家們體驗游戲的方式發(fā)生巨大的改變，對于游戲行業(yè)而言也將是一次新的革命歷程。
網(wǎng)易伏羲AI研究&技術(shù)落地負責人呂唐杰 受訪人供圖
以下為本次采訪實錄，受訪人為網(wǎng)易伏羲AI研究&技術(shù)落地負責人呂唐杰，僅做不改變愿意的調(diào)整：
1.觀察者網(wǎng)：網(wǎng)易十一期間在《永劫無間》游戲中引入“噩夢AI”，為何會有一次這樣的策劃？
呂唐杰：噩夢AI的上線是一個不錯的開始，游戲機器人曾在福利局、人機模式等玩法中扮演了重要的角色，但隨著玩家游戲水平的逐漸提升，初始版本的游戲機器人已經(jīng)跟不上玩家的需求。
一方面是由于機器人本身的競技水平比較弱，另一方面是機器人的行為模式還比較固定甚至說是蠢萌，其根本原因則是在技術(shù)層面上，《永劫無間》原始版本的游戲機器人是通過行為樹、狀態(tài)機等基于規(guī)則的方法開發(fā)的，這類方法的特點是簡單、易用，但同時機器人所能達到的水平上限不高。
目前，強化學習領(lǐng)域的研究者們已經(jīng)在相當多的場景，特別是游戲場景中實現(xiàn)了匹敵甚至超越人類專家水平的AI，而強化學習也被認為是實現(xiàn)更通用、更廣泛、更高級的機器智能的重要技術(shù)手段之一。
因此，我們借助了深度強化學習技術(shù)對游戲機器人進行了多方面的能力提升，包括尋路效率、戰(zhàn)斗博弈水平、迂回作戰(zhàn)等。
另外，從技術(shù)的角度來講一定是先進生產(chǎn)力取代落后生產(chǎn)力，不單是《永劫無間》，網(wǎng)易大多數(shù)游戲項目組也都在積極擁抱新一代人工智能技術(shù)，這是一個讓人興奮的趨勢。
2.觀察者網(wǎng)：與玩家認知中的傳統(tǒng)游戲AI相比，當前階段在游戲中引入的AI有什么不同？從玩家角度來觀察，對兩種AI的感知又有何不一樣？
呂唐杰：首先是兩種游戲AI的制作產(chǎn)生方式不同。傳統(tǒng)游戲AI可以看成是“什么情況下做什么”的若干規(guī)則的組合，是人類有限經(jīng)驗的堆疊。而當前我們在游戲中引入的AI，是通過像“新手玩游戲變成老手”那樣的過程“訓練”出來的，可以將其視為具備了感知、認知、決策以及學習能力的智能體。
其次，兩種游戲AI的技能水平差異很大，這也是第一點所直接導致的?；谝?guī)則的AI其實是人類先驗知識的一種簡易的表達，體現(xiàn)的是游戲開發(fā)者、策劃對于怎么玩游戲的一種認知。
但其問題就在于人類雖然可以精通游戲，卻拙于提煉如何精通游戲。因此，一個基于規(guī)則的游戲AI邏輯，往往包含了成千上萬條規(guī)則以盡可能地覆蓋所有決策情形，規(guī)則越多，游戲AI也就越智能，但在實際中規(guī)則AI其實很難達到極高的智能水平。
而在求解“如何將游戲玩得更好”這個問題的過程中，強化學習算法能夠自動探索可能的決策情形，將應對策略凝練到參數(shù)模型中，不需要龐大的規(guī)則庫，也不需要人工干預學習過程。
與規(guī)則AI這種機械的“人工智能”相比，這是更高級形式的“人工智能”，“人工”是因為它仍然是人類設(shè)定的程序，“智能”是因為這種程序?qū)崿F(xiàn)的（或者說模擬的）是人類獲取知識的方法，而非直接表達知識本身。
目前，人工智能技術(shù)日新月異的發(fā)展所帶來的各行各業(yè)的變化已經(jīng)非常容易被常人所感知到，強化學習技術(shù)在圍棋、星際爭霸、Dota2等游戲中的突破都引起了非常大的轟動。在游戲領(lǐng)域大家已經(jīng)形成了這樣的共識——現(xiàn)代人工智能技術(shù)在某些特定領(lǐng)域超越人類，已經(jīng)是事實。
從我們自己的經(jīng)驗來講，玩家們對于傳統(tǒng)游戲AI和用強化學習算法訓練出的游戲AI的感知有非常明顯的區(qū)別，這主要也是由兩者之間的技能水平差異所帶來的。
比如新AI學會了比較高級的連招技能，新AI表現(xiàn)出像人一樣的欲擒故縱、聲東擊西等計謀，新AI壓迫性太強等等。如果只局限于傳統(tǒng)的基于規(guī)則的方法，游戲AI只能演配角戲，比如給新手玩家練手、在深夜玩家數(shù)量較少時充人數(shù)，那游戲AI對于很多玩家來講其實是可有可無的。
目前來看，深度強化學習為代表的現(xiàn)代人工智能技術(shù)可以有無限潛力，借助這些技術(shù)產(chǎn)生的游戲AI可以幫助玩家做更多的事情，與玩家在游戲世界里面共建共生，或許可以成為游戲玩法的全新發(fā)展方向。
3.觀察者網(wǎng)：一般的認知中，游戲中任何怪物、NPC的操作均遵從開發(fā)人員設(shè)定的邏輯，AI的引入能否理解為未來游戲中的對應怪物、NPC會有自主的運行邏輯？這會對游戲內(nèi)的生態(tài)帶來哪些變化？
呂唐杰：隨著大模型預訓練技術(shù)的發(fā)展，游戲行業(yè)的這一天可能很快就能到來，這對于游戲內(nèi)的生態(tài)會產(chǎn)生重要的影響。
首先，可以提升游戲內(nèi)怪物、NPC的制作效率，并且還能將這些NPC的智能水平提升到一個新的層次。此前游戲中的NPC是基于傳統(tǒng)規(guī)則方案所制作的，游戲策劃使用行為樹、流程圖等工具，手工制作AI的行為邏輯，基本上“有多少人工，就有多少智能”。因為生產(chǎn)力低下，鑒于游戲開發(fā)團隊有限的預算和投入，一般游戲中的怪物、NPC就會存在智能不足、可玩性有限的問題。
通過使用人工智能技術(shù)，怪物和NPC擁有了自我學習的能力，游戲策劃只需要給這些怪物、NPC賦予故事背景和人設(shè)，并設(shè)定好他們的行動空間，剩下的就可以交由AI，讓其通過學習大數(shù)據(jù)完成智能水平的提升，從而讓玩家體驗到NPC的鮮活感。
其次，游戲真正有可能變成一個自由開放的世界，并讓玩家獲得身臨其境的交互體驗。比如玩家可以跟NPC進行自由的交流，包括文字、語音、表情、行為等多種交互形式，而NPC又能根據(jù)游戲世界觀、自己的人設(shè)以及與玩家和其他NPC的交互，在游戲里自主式的發(fā)展，那玩家每一次在游戲里都會有新奇的體驗，不同玩家的體驗也各不相同。
《西部世界》電視劇中描繪了一種終極NPC的形態(tài)，我相信通過人工智能技術(shù)的發(fā)展，這種高智能、高自由度的NPC在游戲中必將出現(xiàn)，這也是我們努力的目標，而這對于很多想要持續(xù)探索開放游戲世界的玩家來說將是一個福音。
4.觀察者網(wǎng)：傳統(tǒng)游戲中的強力AI角色通過后臺讀取對應的數(shù)據(jù)來實現(xiàn)強大的應對能力（如RTS游戲中戰(zhàn)爭迷霧無效等），而如今游戲AI則是依據(jù)當前場景判定下一步的行動邏輯。這種純自主性的AI在開發(fā)及應用層面與傳統(tǒng)的游戲AI有何不同？
呂唐杰：由于傳統(tǒng)的游戲AI與純自主性的AI背后所依賴的技術(shù)不同，使它們具有不同的特點：傳統(tǒng)的游戲AI由于完全以邏輯方式實現(xiàn)，其行為更加可控及可定制化，但其行為模式較為單一固化，且通常無法應對復雜的游戲場景；
與之相對的，純自主性的AI基于深度神經(jīng)網(wǎng)絡(luò)，其具有更高的上限，能夠應對復雜場景，同時行為表現(xiàn)上具有一定的變化，但由于深度神經(jīng)網(wǎng)絡(luò)的黑盒性質(zhì)，對其進行定義化的行為調(diào)整存在一定困難。
從開發(fā)層面來看，傳統(tǒng)的游戲AI要展現(xiàn)強大的應對能力，除了通過后臺獲取數(shù)據(jù)外，往往還會在屬性數(shù)值方面進行增強。而此次《永劫無間》噩夢人機模式背后的AI，是結(jié)合深度神經(jīng)網(wǎng)絡(luò)及強化學習方法，在設(shè)定任務(wù)目標后，通過AI之間的自我對弈訓練，最終人為挑選后產(chǎn)生，其獲取的數(shù)據(jù)范圍及數(shù)值屬性，與真實玩家間不存在差異。
5.觀察者網(wǎng)：除了在游戲內(nèi)與玩家互動，AI在游戲開發(fā)、日常運營的過程中還能夠帶來哪些改變？
呂唐杰：在游戲開發(fā)階段，AI技術(shù)可以大大提升游戲團隊的制作效率。例如通過語音合成表情技術(shù)，可以讓游戲的角色通過配音直接輸出角色表情，相比于傳統(tǒng)人工手繪表情方案，工作效率能提升上百倍；
再比如使用AI技術(shù)可以快速地將演員或視頻中角色的表情、動作等遷移到角色模型上，相比于傳統(tǒng)的基于動作捕捉的方案，能顯著地提升產(chǎn)出效率、降低制作成本；
AI文圖生成技術(shù)則可以讓策劃通過文本快速地生成和挑選一些合適的概念圖，降低了策劃跟美術(shù)之間的交流障礙，減少中間返工的成本等等。
在日常運營階段，AI反外掛技術(shù)通過分析玩家在游戲中的行為數(shù)據(jù)，可以快速識別出異常行為玩家，從而作為傳統(tǒng)反外掛技術(shù)的有效補充。
6.觀察者網(wǎng)：目前全球來看游戲AI技術(shù)的開發(fā)、應用等方面中外之間是否有明顯的差異？
呂唐杰：AI技術(shù)跟游戲本身是一種相輔相成的關(guān)系。
一方面，游戲作為研究和驗證AI技術(shù)的絕佳場景，在AI技術(shù)的發(fā)展過程中起到了至關(guān)重要的作用。無論是最初的AlphaGo、還是后來的OpenAI Five、AlphaStar等，AI研究團隊都是通過這些復雜的游戲場景來反復打磨AI算法、驗證技術(shù)效果?？梢哉f，這些游戲極大地促進了AI技術(shù)在算法研究、神經(jīng)網(wǎng)絡(luò)架構(gòu)探索以及大規(guī)模分布式計算等方面的飛速發(fā)展。
總體來說，國外在使用游戲來促進AI技術(shù)發(fā)展這一領(lǐng)域要比國內(nèi)要做得更好一些；但同時，依靠AI技術(shù)的發(fā)展、應用來反向促進游戲本身，這一領(lǐng)域國內(nèi)很多公司走得更為靠前，目前國內(nèi)很多大型游戲公司都成立了自己的AI技術(shù)部門，在用AI技術(shù)賦能游戲上做了大量的技術(shù)創(chuàng)新和應用落地。
當然，無論是用游戲來促進AI技術(shù)的研究，還是用AI技術(shù)來促進游戲產(chǎn)業(yè)的發(fā)展，兩者都對全球產(chǎn)業(yè)帶來了正向的促進作用。比如網(wǎng)易伏羲已在“游戲+AI”領(lǐng)域發(fā)表了150多篇國際級論文，擁有200多篇技術(shù)專利，并在全球游戲開發(fā)者大會（GDC）做過10余次AI技術(shù)專題分享，在國際和國內(nèi)享有一定的聲譽。
7.國內(nèi)數(shù)字新基建所打造的算力網(wǎng)、數(shù)據(jù)中心等對游戲AI技術(shù)的開發(fā)、應用帶來了哪些作用？
呂唐杰：AI技術(shù)的三大要素是算法、算力和數(shù)據(jù)。目前游戲行業(yè)算法研究比較開放，全球的AI研究員都可以及時跟進最前沿的技術(shù)方案，而算力和數(shù)據(jù)則成為了各家公司的技術(shù)壁壘。
得益于在數(shù)字新基建方面的投入，國內(nèi)的游戲AI技術(shù)取得了快速的發(fā)展。例如網(wǎng)易伏羲已經(jīng)搭建了一個擁有數(shù)萬CPU和上千GPU的計算集群，并擁有PB級的數(shù)據(jù)處理能力。同時阿里云、華為云等公有云計算提供商、國內(nèi)的一些超算中心也為游戲AI技術(shù)的研究和應用提供了大量支持，也正是依托這些數(shù)字基建，我們才能研發(fā)出像《永劫無間》機器人、反外掛機器人、AI照片捏臉、智能對話機器人等優(yōu)秀的技術(shù)落地案例。