OpenAI的數(shù)據(jù)基本是按照token來計算，而互聯(lián)網(wǎng)能爬取來訓(xùn)練的數(shù)據(jù)量，也就10T-20T的token，況且國內(nèi)的很多英文數(shù)據(jù)質(zhì)量比較糟糕，很多科學(xué)期刊/學(xué)術(shù)論文的英文數(shù)據(jù)，相對還是要比中文富裕一些，只有片面的數(shù)據(jù)是悟不出背后的數(shù)據(jù)規(guī)律的。這里面還要注意，不能有錯誤數(shù)據(jù)，因為低質(zhì)量的錯誤數(shù)據(jù)會壓著模型長智力；再加上中文還有一些敏感詞和敏感信息被過濾掉了，這些都會影響國內(nèi)大模型的數(shù)據(jù)。

其次還有算力的挑戰(zhàn)。大模型的預(yù)訓(xùn)練對卡的要求高到讓人恐懼，是成千上萬塊英偉達A100來支撐的，但是沒有卡你咋訓(xùn)練大模型。所以能訓(xùn)練大模型的公司，卡肯定得有，數(shù)據(jù)得有，這兩個挑戰(zhàn)加起來已經(jīng)夠大了。

算法上我倒是覺得挑戰(zhàn)不大，因為算法基本已經(jīng)成型，頂多你把模型的形狀改一改，能夠更適配GPU，或者把模型里的某個關(guān)鍵環(huán)節(jié)改一改算子，也不是什么問題，因為它已經(jīng)成熟了。

劉大鴻：一方面，我覺得大模型的“大”更多是指“廣”，像ChatGPT覆蓋的范圍非常廣。語言本身是一個復(fù)雜的網(wǎng)絡(luò)，如果覆蓋不夠廣，很難去概率接龍，導(dǎo)致很多數(shù)據(jù)無法生成。

目前，國內(nèi)很多大模型不算嚴格意義上的大模型，更像是一個簡體中文的垂直模型，覆蓋面有限。為真正達到大模型的效果，需要涵蓋更多領(lǐng)域和語言，這需要大量高質(zhì)量的數(shù)據(jù)作為支撐，這對國內(nèi)來說是一個短板。

國內(nèi)網(wǎng)上公開的數(shù)據(jù)越來越少，而高質(zhì)量的內(nèi)容都出現(xiàn)在一些相對私域的地方，這都會影響大模型的訓(xùn)練結(jié)果；同時，國內(nèi)很多的網(wǎng)絡(luò)數(shù)據(jù)，經(jīng)過了大量的過濾和敏感內(nèi)容的處理，最終也會導(dǎo)致大模型的訓(xùn)練結(jié)果有缺憾。

另一方面，大模型的“大”還體現(xiàn)在“工程浩大”，這個問題在包括中文在內(nèi)的所有語言環(huán)境下存在。最初我看到一些報道，英文剛訓(xùn)練出來的內(nèi)容也是不忍直視的，OpenAI經(jīng)過了大量的強化訓(xùn)練，經(jīng)過了RLHF（reinforcement learning from human feedback，譯為“以強化學(xué)習方式依據(jù)人類反饋優(yōu)化語言模型”)，把這些內(nèi)容做了人類偏好的處理。

數(shù)據(jù)處理是一個非常浩大的工程，需要大量人力和時間積累。就像剛才蔣總所說，“算法”已經(jīng)趨于成熟，“數(shù)據(jù)”可能大公司也有不少，但是要實現(xiàn)整個工程就很難，并不是一堆原材料加一個方法就能做出來。

所以，國內(nèi)大模型也要經(jīng)歷從最初的內(nèi)容出現(xiàn)、到不斷強化、到人類不斷反饋的一個生長過程，它可能會比OpenAI快一點，但快不了太多。我記得當時百度創(chuàng)始人李彥宏出來演講時說，“可能我們差幾個月或者差兩年”，但后面還接了句話說，“也可能我們永遠追不上”，這話我覺得是有深層含義的。

就像我們現(xiàn)在回看中國互聯(lián)網(wǎng)，大模型像是互聯(lián)網(wǎng)本身的映射，我們有一個什么樣的互聯(lián)網(wǎng)，就會有一個什么樣的大模型。所以，從體量上我們可能會做出來一個很大的公司，但是在數(shù)據(jù)的廣度和工程上，還是有一個漫長的過程。

（3）談大模型弱點：避免AI盛產(chǎn)垃圾信息

高飛：我們剛才談的略有些悲觀色彩，但是既然說到投資創(chuàng)業(yè)，總得向前看，有投資人提到 “大模型的弱點就是中國AI領(lǐng)域未來的創(chuàng)業(yè)機會”，你們認為既有玩家是否有致命弱點？

于千城：這扇窗已經(jīng)被打開了，未來一定是往這個方向去走。既然中國有這么大的市場和需求，國家為什么還在觀望？我認為AI的“奇點”時刻確實是到了，所以盡管方向是對的，但是種種不確定因素還沒有被排除掉，所以國家也沒有完全在這塊發(fā)力。但是，各行各業(yè)都在發(fā)力，因為大家知道這是大趨勢。

中國的市場體量在那擺著，眾人拾柴火焰高，我相信中美之間未來在AI賽道的差距不會太大。從數(shù)據(jù)的角度，這么多年來，國人已經(jīng)習慣把學(xué)術(shù)成果用英文來發(fā)表，給英文積攢了大量的語料，但是國家應(yīng)該會越來越重視這件事，會慢慢的去積攢有質(zhì)量的中文語料，去訓(xùn)練符合國家需要的大模型，所以從前景來看，很難說中國會在這一塊落后多久。

陳煉：有個致命弱點。大模型所產(chǎn)生的內(nèi)容，會不會成為曾經(jīng)互聯(lián)網(wǎng)時代的垃圾郵件？人工智能確實是提升了內(nèi)容生產(chǎn)的效率，但是沒有提升內(nèi)容消費的效率，這會讓很多人處于一種垃圾信息的獲取狀態(tài)。

大模型生成的內(nèi)容里，很多都是沒有靈魂的，純粹是為了節(jié)省成本而創(chuàng)造，這對社會可能并不是進步，甚至可能變成一個曾經(jīng)的垃圾郵件狀態(tài)，這是致命問題。

【Part 2】大模型到底是不是創(chuàng)造了iPhone時刻？

（1）大模型與應(yīng)用=iOS與App Store？

高飛：關(guān)于大模型，投資也好，創(chuàng)業(yè)也好，如果像黃仁勛說的是AI的iPhone時刻，大模型和應(yīng)用的關(guān)系會不會類似iOS和App Store的關(guān)系？

陳煉：它們其實有很大的類似之處。iOS操作系統(tǒng)，本身是一個圖文、視頻、語音的交互存儲系統(tǒng)，是最底層的一個電子系統(tǒng)。而大模型更像是一個云服務(wù)平臺，是從圖文、視頻、語音量變引起質(zhì)變的一個基于權(quán)重隨機的智能算法產(chǎn)物。它們本質(zhì)都是基于圖文、視頻、語音做的一個操作系統(tǒng)，這是它們的相同點。

不同點在于，一個是硬件操作系統(tǒng)，另外是一個算法操作系統(tǒng)，在算法操作系統(tǒng)上一定會衍生出各種各樣的、基于人們生活工作的、不同領(lǐng)域的App，所以這種可能性是存在的。

于千城：我也覺得會有。量變產(chǎn)生質(zhì)變，不光是在大模型上，在整個生態(tài)上也是一樣。各行各業(yè)的人都在創(chuàng)新，都在從他們的視角產(chǎn)生新想法，沒準兒某一天某行業(yè)某個人想出一個奇特的應(yīng)用場景，所以我覺得形成應(yīng)用商店是遲早的事情。

高飛：那我們有信心了，開發(fā)出一個媒體大模型應(yīng)用出來。

（2）談大模型與小模型：要通才，也要專家

高飛：有些ToB用戶會有疑問說，大模型的應(yīng)用應(yīng)該怎么開發(fā)，如何把大模型的通用理解能力解耦出來，產(chǎn)生一種混合大模型或私有大模型？就像云領(lǐng)域的混合云和私有云。

蔣鎰?wù)洌?/strong>這肯定存在。首先真正的能叫得上大模型的，目前只有一個OpenAI的GPT，GPT-4叫大模型，GPT-3.5都有點弱。