OpenAI的數(shù)據(jù)基本是按照token來(lái)計(jì)算，而互聯(lián)網(wǎng)能爬取來(lái)訓(xùn)練的數(shù)據(jù)量，也就10T-20T的token，況且國(guó)內(nèi)的很多英文數(shù)據(jù)質(zhì)量比較糟糕，很多科學(xué)期刊/學(xué)術(shù)論文的英文數(shù)據(jù)，相對(duì)還是要比中文富裕一些，只有片面的數(shù)據(jù)是悟不出背后的數(shù)據(jù)規(guī)律的。這里面還要注意，不能有錯(cuò)誤數(shù)據(jù)，因?yàn)榈唾|(zhì)量的錯(cuò)誤數(shù)據(jù)會(huì)壓著模型長(zhǎng)智力；再加上中文還有一些敏感詞和敏感信息被過(guò)濾掉了，這些都會(huì)影響國(guó)內(nèi)大模型的數(shù)據(jù)。

其次還有算力的挑戰(zhàn)。大模型的預(yù)訓(xùn)練對(duì)卡的要求高到讓人恐懼，是成千上萬(wàn)塊英偉達(dá)A100來(lái)支撐的，但是沒(méi)有卡你咋訓(xùn)練大模型。所以能訓(xùn)練大模型的公司，卡肯定得有，數(shù)據(jù)得有，這兩個(gè)挑戰(zhàn)加起來(lái)已經(jīng)夠大了。

算法上我倒是覺(jué)得挑戰(zhàn)不大，因?yàn)樗惴ɑ疽呀?jīng)成型，頂多你把模型的形狀改一改，能夠更適配GPU，或者把模型里的某個(gè)關(guān)鍵環(huán)節(jié)改一改算子，也不是什么問(wèn)題，因?yàn)樗呀?jīng)成熟了。

劉大鴻：一方面，我覺(jué)得大模型的“大”更多是指“廣”，像ChatGPT覆蓋的范圍非常廣。語(yǔ)言本身是一個(gè)復(fù)雜的網(wǎng)絡(luò)，如果覆蓋不夠廣，很難去概率接龍，導(dǎo)致很多數(shù)據(jù)無(wú)法生成。

目前，國(guó)內(nèi)很多大模型不算嚴(yán)格意義上的大模型，更像是一個(gè)簡(jiǎn)體中文的垂直模型，覆蓋面有限。為真正達(dá)到大模型的效果，需要涵蓋更多領(lǐng)域和語(yǔ)言，這需要大量高質(zhì)量的數(shù)據(jù)作為支撐，這對(duì)國(guó)內(nèi)來(lái)說(shuō)是一個(gè)短板。

國(guó)內(nèi)網(wǎng)上公開(kāi)的數(shù)據(jù)越來(lái)越少，而高質(zhì)量的內(nèi)容都出現(xiàn)在一些相對(duì)私域的地方，這都會(huì)影響大模型的訓(xùn)練結(jié)果；同時(shí)，國(guó)內(nèi)很多的網(wǎng)絡(luò)數(shù)據(jù)，經(jīng)過(guò)了大量的過(guò)濾和敏感內(nèi)容的處理，最終也會(huì)導(dǎo)致大模型的訓(xùn)練結(jié)果有缺憾。

另一方面，大模型的“大”還體現(xiàn)在“工程浩大”，這個(gè)問(wèn)題在包括中文在內(nèi)的所有語(yǔ)言環(huán)境下存在。最初我看到一些報(bào)道，英文剛訓(xùn)練出來(lái)的內(nèi)容也是不忍直視的，OpenAI經(jīng)過(guò)了大量的強(qiáng)化訓(xùn)練，經(jīng)過(guò)了RLHF（reinforcement learning from human feedback，譯為“以強(qiáng)化學(xué)習(xí)方式依據(jù)人類反饋優(yōu)化語(yǔ)言模型”)，把這些內(nèi)容做了人類偏好的處理。

數(shù)據(jù)處理是一個(gè)非常浩大的工程，需要大量人力和時(shí)間積累。就像剛才蔣總所說(shuō)，“算法”已經(jīng)趨于成熟，“數(shù)據(jù)”可能大公司也有不少，但是要實(shí)現(xiàn)整個(gè)工程就很難，并不是一堆原材料加一個(gè)方法就能做出來(lái)。

所以，國(guó)內(nèi)大模型也要經(jīng)歷從最初的內(nèi)容出現(xiàn)、到不斷強(qiáng)化、到人類不斷反饋的一個(gè)生長(zhǎng)過(guò)程，它可能會(huì)比OpenAI快一點(diǎn)，但快不了太多。我記得當(dāng)時(shí)百度創(chuàng)始人李彥宏出來(lái)演講時(shí)說(shuō)，“可能我們差幾個(gè)月或者差兩年”，但后面還接了句話說(shuō)，“也可能我們永遠(yuǎn)追不上”，這話我覺(jué)得是有深層含義的。

就像我們現(xiàn)在回看中國(guó)互聯(lián)網(wǎng)，大模型像是互聯(lián)網(wǎng)本身的映射，我們有一個(gè)什么樣的互聯(lián)網(wǎng)，就會(huì)有一個(gè)什么樣的大模型。所以，從體量上我們可能會(huì)做出來(lái)一個(gè)很大的公司，但是在數(shù)據(jù)的廣度和工程上，還是有一個(gè)漫長(zhǎng)的過(guò)程。

（3）談大模型弱點(diǎn)：避免AI盛產(chǎn)垃圾信息

高飛：我們剛才談的略有些悲觀色彩，但是既然說(shuō)到投資創(chuàng)業(yè)，總得向前看，有投資人提到 “大模型的弱點(diǎn)就是中國(guó)AI領(lǐng)域未來(lái)的創(chuàng)業(yè)機(jī)會(huì)”，你們認(rèn)為既有玩家是否有致命弱點(diǎn)？

于千城：這扇窗已經(jīng)被打開(kāi)了，未來(lái)一定是往這個(gè)方向去走。既然中國(guó)有這么大的市場(chǎng)和需求，國(guó)家為什么還在觀望？我認(rèn)為AI的“奇點(diǎn)”時(shí)刻確實(shí)是到了，所以盡管方向是對(duì)的，但是種種不確定因素還沒(méi)有被排除掉，所以國(guó)家也沒(méi)有完全在這塊發(fā)力。但是，各行各業(yè)都在發(fā)力，因?yàn)榇蠹抑肋@是大趨勢(shì)。

中國(guó)的市場(chǎng)體量在那擺著，眾人拾柴火焰高，我相信中美之間未來(lái)在AI賽道的差距不會(huì)太大。從數(shù)據(jù)的角度，這么多年來(lái)，國(guó)人已經(jīng)習(xí)慣把學(xué)術(shù)成果用英文來(lái)發(fā)表，給英文積攢了大量的語(yǔ)料，但是國(guó)家應(yīng)該會(huì)越來(lái)越重視這件事，會(huì)慢慢的去積攢有質(zhì)量的中文語(yǔ)料，去訓(xùn)練符合國(guó)家需要的大模型，所以從前景來(lái)看，很難說(shuō)中國(guó)會(huì)在這一塊落后多久。

陳煉：有個(gè)致命弱點(diǎn)。大模型所產(chǎn)生的內(nèi)容，會(huì)不會(huì)成為曾經(jīng)互聯(lián)網(wǎng)時(shí)代的垃圾郵件？人工智能確實(shí)是提升了內(nèi)容生產(chǎn)的效率，但是沒(méi)有提升內(nèi)容消費(fèi)的效率，這會(huì)讓很多人處于一種垃圾信息的獲取狀態(tài)。

大模型生成的內(nèi)容里，很多都是沒(méi)有靈魂的，純粹是為了節(jié)省成本而創(chuàng)造，這對(duì)社會(huì)可能并不是進(jìn)步，甚至可能變成一個(gè)曾經(jīng)的垃圾郵件狀態(tài)，這是致命問(wèn)題。

【Part 2】大模型到底是不是創(chuàng)造了iPhone時(shí)刻？

（1）大模型與應(yīng)用=iOS與App Store？

高飛：關(guān)于大模型，投資也好，創(chuàng)業(yè)也好，如果像黃仁勛說(shuō)的是AI的iPhone時(shí)刻，大模型和應(yīng)用的關(guān)系會(huì)不會(huì)類似iOS和App Store的關(guān)系？

陳煉：它們其實(shí)有很大的類似之處。iOS操作系統(tǒng)，本身是一個(gè)圖文、視頻、語(yǔ)音的交互存儲(chǔ)系統(tǒng)，是最底層的一個(gè)電子系統(tǒng)。而大模型更像是一個(gè)云服務(wù)平臺(tái)，是從圖文、視頻、語(yǔ)音量變引起質(zhì)變的一個(gè)基于權(quán)重隨機(jī)的智能算法產(chǎn)物。它們本質(zhì)都是基于圖文、視頻、語(yǔ)音做的一個(gè)操作系統(tǒng)，這是它們的相同點(diǎn)。

不同點(diǎn)在于，一個(gè)是硬件操作系統(tǒng)，另外是一個(gè)算法操作系統(tǒng)，在算法操作系統(tǒng)上一定會(huì)衍生出各種各樣的、基于人們生活工作的、不同領(lǐng)域的App，所以這種可能性是存在的。

于千城：我也覺(jué)得會(huì)有。量變產(chǎn)生質(zhì)變，不光是在大模型上，在整個(gè)生態(tài)上也是一樣。各行各業(yè)的人都在創(chuàng)新，都在從他們的視角產(chǎn)生新想法，沒(méi)準(zhǔn)兒某一天某行業(yè)某個(gè)人想出一個(gè)奇特的應(yīng)用場(chǎng)景，所以我覺(jué)得形成應(yīng)用商店是遲早的事情。

高飛：那我們有信心了，開(kāi)發(fā)出一個(gè)媒體大模型應(yīng)用出來(lái)。

（2）談大模型與小模型：要通才，也要專家

高飛：有些ToB用戶會(huì)有疑問(wèn)說(shuō)，大模型的應(yīng)用應(yīng)該怎么開(kāi)發(fā)，如何把大模型的通用理解能力解耦出來(lái)，產(chǎn)生一種混合大模型或私有大模型？就像云領(lǐng)域的混合云和私有云。

蔣鎰?wù)洌?/strong>這肯定存在。首先真正的能叫得上大模型的，目前只有一個(gè)OpenAI的GPT，GPT-4叫大模型，GPT-3.5都有點(diǎn)弱。