新范式一旦成立，就會形成一種人工智能跟知識發現的新飛輪。

ChatGPT“暈菜”了。

去年第一次跟ChatGPT對話時，周伯文特意給它出了一道難題：“我的朋友比他領導大10個月，他們現在結婚3年了，請問結婚50年時他比他的領導大幾個月？”

【資料圖】

ChatGPT也的確被這個腦筋急轉彎似的簡單推理難住了，“它一五一十地跟我分析計算，大意是現在大10個月，結婚3年了，離他們結婚50年還有47年，一年有12個月，47×12等于多少，再加上10個月，那時候他會比他的領導大400多個月。”

周伯文是清華大學惠妍講席教授、清華大學電子工程系長聘教授和協同交互智能研究中心主任、銜遠科技創始人，由于長期研究自然語言、大模型和人機對話相關技術，他清楚地知道當前技術的優勢和短板。周伯文表示，目前寫作和總結類相關問題，ChatGPT可以有理有據地高情商回答，但一旦涉及到知識與推理的結合，它的短板就顯現出來了。

盡管如此，周伯文依然非常看好ChatGPT的前景，“我們對ChatGPT的態度是‘到來不吃驚，影響不低估，未來有辦法’。”

目前ChatGPT的應用非常廣泛，這背后需要大量的數據和算力去支持大模型。在周伯文看來，雖然國內資金充裕和能力十足的大廠紛紛下場，但受限于自身業務發展，而且也會經歷一個較長的研發時間，再加上大廠在公司發展決策上的種種顧慮，比如管理層和技術leader的認知和預期是否一致，還要考慮股價、投資回報率等，究竟誰（的大模型）能跑出來現在要打一個問號。

周伯文也提出了另一條可行的路徑，“我認為在垂直領域里結合應用端到端的去訓練、逐步發展為大模型的模式是一條值得重視與探索的路，尤其是對創業公司來說。因為目前的市場足夠大，創業公司只要先做好一個垂直領域，幫助自有的大模型帶來數據、場景的閉環，也因為客戶價值清晰明確，有明確的付費模式支持，模型越來越強大的路徑就會打通。”

而這一端到端路徑也在周伯文的創業過程中逐漸得到驗證。2021年底，周伯文創立銜遠科技，并研發了多輪對話模型ProductGPT，旨在與專業人員深度交互協同，幫助企業高效打造爆款創新產品。3月1日，銜遠科技宣布已完成由啟明創投領投，經緯創投跟投的數億元天使輪融資。

近日，周伯文在與《中國企業家》的一次內部交流中，發表了主題演講《When we chat about ChatGPT，what do we chat about？》，主要介紹了協同交互智能與多模態學習領域內的最新進展，與對ChatGPT在未來產業應用的展望。

本次演講要點包括：

1.ChatGPT的出現是必然的，OpenAI這家公司首先做出來則是有一定偶然性的。

2.ChatGPT還遠遠不到通用人工智能的程度，其推理、知識等能力存在明顯短板。

3.ChatGPT第一次實現了人跟AI多輪協同共創，這帶來了一個巨大的范式轉移。一旦范式成立，會形成一種人工智能推動新知識發現的新飛輪。

4.研發通用大模型的成本非常高而且是一個不斷提升的移動目標，從垂直大模型加場景端到端做起，慢慢迭代出更大的商業模型，或許是創業公司更適合的做法。

5.AI的下一個突破會從純虛擬的存在轉到幫助人在物理世界、生物世界和信息世界里更高效洞察、形成新知識并完成任務，創造更高價值場景。

以下為演講內容，有刪減。

ChatGPT的短板與長處

對于我們業界研究的人而言，我們很早就預見了AI能力的涌現。AI的發展是有一個長鏈條存在的，從機器學習到神經網絡到深度學習，到Transformer模型，再到GPT-3，InstructGPT，一直到ChatGPT，整個路徑非常清晰，所以ChatGPT的出現并不是一件完全不可預見的事情。

即使沒有OpenAI，AI能力技術也會在這一兩年里涌現，所以我認為ChatGPT的出現是必然的，OpenAI這家公司做出來則是有一定偶然性的。

OpenAI為什么能做出ChatGPT呢？

我認為，雖然這個工作本身是OpenAI自己參與，但絕對離不開整個學術社區的幫助。

像我們說的Transformer模型，就是基于多頭自注意力等學術理論的進一步深入，并在成功后獲得更多研究分析其機理的合理性。這些學術社區的研究驗證了大模型在被大量數據訓練后，確實能存儲豐富的知識了，它的表現就不是隨機生成的過擬合。這些進展讓公司更有勇氣砸大量金錢去訓練模型，一定需要證據證明方向是正確的，而這些研究就是一個非常好的證據。

另外，還一定要有競爭，如果GPT模型沒有跟同期的BERT（Google的預訓練模型）模型長期競爭，它的進展不會這么快。

ChatGPT還對兩個理論進行了驗證，一個是數據越多，能力越強，就是線性放大的理論“Scaling Laws”；另一個是“能力涌現”，就是模型大到一定程度后，它就會突然開始融會貫通了。

但在我看來，ChatGPT還遠遠不到通用人工智能的程度。ChatGPT證明了通過大量的無監督學習的有效性。但人工智能要更具通用性，還需要具備知識、計算、推理這三種能力的組合能力。

ChatGPT目前做得比較好的是計算，在推理上也出現了一些能力涌現，但復雜推理的程度比較低。比如說人可以進行多跳推理，直接從a推導出c來。但ChatGPT的推理能力在兩跳以上后，它就會迅速降低到20%的準確率，因此我說這個能力還遠遠不夠。知識層面，目前ChatGPT的知識是不完備的。

ChatGPT的第二個短板，就是模型越大并不一定意味著越好。當訓練模型規模達到一定界限時，AI在某些任務上的表現反而會下降。因為目前AI真正的想象力和推理能力有很大的缺陷，一旦投喂數據越多，模型越大，它的思維和創造力就會被固化了。

ChatGPT能做到現在這個地步，除了底層大模型的能力涌現之外，它有一個非常主要的貢獻，就是通過人的協同和交互來加強AI的能力。

舉個例子，如果我們問GPT-3（ChatGPT的基礎模型），請跟一個6歲的小孩解釋登月工程。找到可能的答案對GPT-3一點都不難，它至少能找到4個答案:a是從萬有引力出發解釋這個問題；b可以從歷史出發，比如蘇聯衛星上天了，導致美國的危機感，所以啟動登月工程；c可以從天文學出發，月亮是地球的一個古老衛星；d可以從人類的美好愿望出發，月亮上有嫦娥有玉兔，我們人類老想去那里。

這個問題到底難在哪？是GPT-3不知道哪個答案更適合給6歲的小孩。

OpenAI就想了一個非常好的辦法，就是讓人給答案進行排序。在面對6歲小孩時，人的排序就是d>c>a=b，即從d開始講，6歲小孩更容易接受。當人把反饋給了GPT-3后，它就會把反饋學去了，學會對答案怎么排序，排完序之后的模型，就從原來的GPT-3變成InstructGPT（ChatGPT的初始版本）。GPT-3大概有1750億訓練參數，而InstructGPT只有它1%的大小，即13億參數。但是這個模型它學完后，你再去問它，給6歲小孩寫一首關于青蛙的故事，他就會在開頭說once upon a time，類似于兒歌一樣的開頭。

由此可見，人的反饋對ChatGPT非常重要，能夠讓它以人的價值觀和理解去學習排序，這也是人類用戶感覺到ChatGPT有很高情商的原因。但這是很多人擔心的，ChatGPT能學習到帶有帶有訓練用戶價值觀的輸出，通過排序打分會改變它采用答案的優先級，這也是為什么很多監管部門在關注這個問題的原因。

此外，ChatGPT的多模態協同交互也非常重要。同時，AI與環境的協同演化也很重要。ChatGPT這個人機協同的系統，很難用到非常復雜的需要實時的終端里去。如何在不同的邊緣計算資源、通信帶寬條件下，有效利用類ChatGPT的能力？這是產業互聯網及其生產實踐里的一個非常重要的話題。

我們現在也在研究如何讓云端的ChatGPT的能力，能夠部署到工廠的生產、設計、實踐各個環節里進行有效利用，通過終端跟專業用戶的交互協同，把人的專業知識學習放到邊緣端的模型里，同時又能讓云端的ChatGPT根據大量邊緣端的進步不斷迭代。按照InstructGPT的模式，就變成了原來是云端模型直接跟人交互，現在是云端大模型與邊緣小模型交互，這些小模型再去跟人交互，這就是我們團隊研究的AI與環境的協同。這也是在學術界，值得我們未來10年去研究的重大課題。

一個巨大的范式轉移

ChatGPT的出現是一個里程碑事件，過去二十多年里，為公眾所熟知的DeepBlue、IBM Watson和AlphaGo等AI應用，往往通過與人類競爭制造熱點，并以超過人類的效果獲得廣泛關注，而ChatGPT第一次提出了人跟AI協同共創，這帶來了一個巨大的范式轉移。即人工智能的新一輪創新一定會圍繞人機的協同共創來展開。這個路徑展開后會帶來更大量的應用，進而帶來生產力格局的演變。這對人工智能技術企業的影響非常深刻。

另外，從更高層面上來講，ChatGPT對相關行業影響也非常深刻。

我舉一個科研的例子，《Nature》雜志1月5日的封面文章，主要就討論了過去幾十年人類科學的論文越發越多，但突破性的成果越來越少的問題，不光在中國，整個世界都出現了同樣的情況。

我認為重要原因之一就是隨著科技的大量發展，每個學科都已經非常完善，學科里面開始形成了信息繭房。在一個學科非常小的子領域內，論文就越來越多，而在這個領域里，研究人員要讀大量的論文才能覆蓋一個很小的領域，所以信息繭房內的信息過載，繭房之間壁壘過高，最終導致一個研究人員要花大量時間去掌握這些知識，那他創造的時間就少了，交叉創新的機會就更少了。

設想如果人工智能系統可以把大量領域里的所有基礎內容全部掌握，然后去跟人對話、去交流、可以幫人做各種驗證、論證和計算，和啟發人，這樣最終人就可以有更多時間做最有創造力的突破性工作。

這就是我們討論的一種新范式。這種范式一旦成立，意義極其巨大，會形成一種人工智能跟知識發現的新飛輪。即人工智能做得越強，它的知識、理解、推理等組合能力越強，就越能幫助人類發現更多更好的突破性的科學進展和新知識，包括新藥的發現、癌癥的治療、人腦的研究等。

而隨著這些新知識的獲取，我們就越能幫助世界創造出更好的人工智能，新的人工智能突破又能帶來更多知識，形成人工智能-知識的一個正向飛輪。

AI加速產業創新與應用

我認為，人工智能會幫助人類做更好的高質量發展。

因為AI能夠助力企業創新，這也是我在產學研結合領域非常關注的事情。我們希望借助人工智能的數據分析、理解推理、計算能力、設計能力，去幫助人更好地洞察市場、洞察消費者、進而設計出創新的產品。也就是生成創意、生成產品、完成設計圖紙、生成銷售計劃等原來需要很多專業人士完成的工作，都可以讓AI幫助加快做成，最終讓人來做判斷，這是生成式人工智能、人機協同帶來的全新的創新。

如果這樣去考慮的話，有很多產業機會值得關注。因此有很多投資者問我，怎么看人工智能和大模型ChatGPT的未來產業機會？

我的回答就是，去觀察一家美國硅谷的VC叫A16Z。這家非常有名的高科技風險投資機構把整個生成式人工智能AIGC技術分成這么幾類：最底層的是計算硬件，如GPUs；再上層的是做云計算平臺的，如AWS，以及國內的阿里云、騰訊云；再往上就是作閉源人工智能通用大模型，如GPT-3、ChatGPT等的公司如OpenAI，以及一些開源模型。基于這些模型，上面有做各種應用的公司；特別值得注意的一類就是把底層自有大模型能力和應用融合起來，我們叫端到端的公司。

A16Z的觀點是，目前ChatGPT等非常新的前沿技術，具體的可持續的商業模式還不明確。不像底層的計算硬件和云肯定會獲利，包括微軟等公司；應用層做APP的，因為沒有護城河，也難以保證獲利。唯一明確就是端到端的公司，如美國的Midjourney，具有非常明確的前景，這家公司現在每年能拿到1億美元的可持續訂閱費。銜遠科技按照A16Z對業務模式分類中就屬于端到端的應用。

為什么這種模式從長遠看更有競爭力？從技術角度來講，是因為它把基礎設施、大模型、應用場景和終端用戶形成了一個非常重要的閉環。當公司有了具體的功能讓終端用戶使用，進而會產生非常多的使用數據，數據反饋后又能幫助提升應用，也能幫助提升基礎模型能力，最終模型也會不斷去調優迭代越做越好。

此外，大模型也是未來產業發展的重點，但大模型的商業模式值得探討。因為大模型的成本壁壘非常高，大公司和小企業都有各自的負擔。所以我覺得從端到端做起，慢慢迭代出更大的商業模型，或許是更適合的做法。

這樣又會產生一個疑問，就是把閉源模型加上一個垂直應用打包在一起，是否能取得端到端的商業模式？

ChatGPT現存的一些弱點，讓這個問題的答案是明確的否定。目前，ChatGPT就像一個典型的“萬金油”，它什么都知道一點，也能非常合乎邏輯地把一些信息整合出來，但很多回答存在無法保證信息準確、量化的問題；第二，對于信息特別是數據自身的關聯，它難以建立背后的邏輯；第三，它不能提供獨特的洞見，它基本上就是一個更高級的留聲機。

一旦垂直領域專業用戶使用ChatGPT，他就會發現ChatGPT提供的答案，要么就是專業用戶都知道的內容，要么它可能一本正經地信口開河，不能保證它回答的對不對。

因此，銜遠科技做了一個垂類的模型，叫ProductGPT，幫助企業做產品創新。它可以幫助垂直領域的企業工作人員做創新，在回答時給出非常全面的分析。因為它有很詳實的數據支持，另外它能夠按照品牌、品類、特點去展開深度分析，真正幫助到專業人士。

ProductGPT作為垂直領域的協同交互式人工智能，按照我們目前收集的測試，它能夠讓創新機會翻10倍，上市周期快將近10倍，創新成本大量降低，幫企業帶來收入、業務增長和利潤。

ChatGPT對產業、政策、監管等的意義

ChatGPT的多輪生成對話，可能會引發一些新的人工智能治理問題。我總結了三點：

1.如何從治理的角度對ChatGPT的輸出加以標注？

對人工智能生成的內容中有可能存在彼此矛盾沖突的信息、錯誤知識、過時知識、謊言、偏見、種族歧視等予以標注，幫助用戶謹慎對待。比如，我們需要討論是否及如何對AI產生的內容增加數字水印，讓大家看到時就知道是人工智能生成的而更謹慎對待？

2.ChatGPT相關的知識產權問題及相關法律問題研究。

ChatGPT在實際應用場景中必然會引發許多版權問題，其訓練過程中使用了海量互聯網語料，這種對已有文本數據的模仿也會構成侵權。ChatGPT生成內容的知識產權是歸用戶，還是歸原創內容的所有者，還是歸OpenAI？同時，因為使用ChatGPT帶來不良后果的責任該由誰來承擔，相關的法律問題也亟待研究。

3.ChatGPT使用范圍的界定，其已經對許多行業帶來了沖擊。

例1：中學生會借助ChatGPT來完成作業，但由于其生成內容的不可控性，會帶來法律、安全、倫理風險，甚至引導學生犯罪。

例2：在學術研究中，如果把思考任務交給自動聊天機器人，也會違反學術倫理規范。

我今年年初在美國計算機協會的會刊ACM Computing Surveys上，發了一篇論文 《可信賴的人工智能：從原則到實踐》提出，可信賴的人工智能不是一個孤立的問題，一定要把人工智能的可解釋性、抗攻擊性放在一起綜合考慮，包括ChatGPT現在碰到的問題，都值得在學術上面研究。有關泛化性、可解釋性、透明性、可復制性、價值對齊、負責任等問題都是需要去解決的。所以總的來講，現在人工智能還有很多的工作要做，特別在ChatGPT的大背景下，學術研究、監管和實踐是三位一體的，要互相迭代。

關鍵詞：