歡雀日報 | 百度發(fā)布大語言模型“文心一言”：具備多模態(tài)生成能力，性能有待市場檢驗

一天前發(fā)布的GPT-4將OpenAI推上了“AI終結(jié)者”的位置，關于百度能否講好中國大模型的故事的猜測也愈甚。

百度給出了答案。北京時間3月16日14時，百度科技園工區(qū)的標志性建筑熊掌會議室中，百度宣布正式推出基于百度新一代大語言模型的生成式AI 產(chǎn)品“文心一言（ERNIE Bot）”。

出席陣容可謂豪華。百度創(chuàng)始人兼CEO李彥宏坐鎮(zhèn)會場——這也是繼2018年為自動駕駛平臺“蘿卜快跑”和智能視頻音箱“小度在家”后，李彥宏時隔五年親臨發(fā)布會現(xiàn)場，為單個產(chǎn)品站臺。

同樣出席發(fā)布會的百度CTO王海峰。此前36氪報道中提及，王海峰也是文心一言項目的總指揮。

從2月7日立下發(fā)布大語言模型的“軍令狀”，到文心一言亮相的短短一個多月，亦是百度在AI領域十多年的積累的試金石。

預期之內(nèi)的答卷

前有OpenAI公開GPT-4，后有即將接入最新版ChatGPT的微軟召開產(chǎn)品發(fā)布會，文心一言的發(fā)布備受壓力。

不可否認的是，由于中文粘連度高等難以被AI處理的特征，文心一言的研發(fā)難度并不亞于全球巨頭的。百度搜索產(chǎn)品總監(jiān)張燕薊曾表示，中文語義的理解難度遠大于非中文，因此百度必須研發(fā)一個更難、更復雜的大模型。

基于百度自研的ERNIE及PLATO系列模型，文心一言的關鍵技術包括監(jiān)督精調(diào)、人類反饋的強化學習、提示、知識增強、檢索增強和對話增強。李彥宏介紹，文心一言大模型的訓練數(shù)據(jù)包括萬億級網(wǎng)頁數(shù)據(jù)、數(shù)十億的搜索數(shù)據(jù)和圖片數(shù)據(jù)、百億級的語音日均調(diào)用數(shù)據(jù)，以及5500億事實的知識圖譜等。

發(fā)布會上，李彥宏用文學創(chuàng)作、商業(yè)文案創(chuàng)作、數(shù)理邏輯推算、中文理解和多模態(tài)生成5個基礎的Prompt（問答提示），對文心一言的能力進行了測試。

從現(xiàn)場演示的結(jié)果來看，文心一言具備處理基礎問題的能力，回答具有一定的準確性、邏輯性和流暢性，并提供了GPT-4目前并不具備的多模態(tài)生成能力。但李彥宏也承認，在部分場景的準確性和理解能力上，文心一言仍無法克服大多語言生成大模型的通病。

此前，外界關于文心一言的產(chǎn)品形態(tài)就有諸多討論。發(fā)布會揭示了最終答案。李彥宏表示，大語言模型將給產(chǎn)業(yè)帶來三大機會，文心一言也將抓住機會：

首先是提供新型云計算服務。文心一言將通過百度智能云對外提供服務，幫助企業(yè)構(gòu)建自己的模型和應用，李彥宏預告稱，百度智能云將于近期舉辦新聞發(fā)布會，主題圍繞文心一言的云服務和應用產(chǎn)品，既有公有云服務和也可以做私有化部署。

其次是提供行業(yè)模型精調(diào)的中間層服務。目前，百度文心大模型已經(jīng)在電力、金融、媒體等領域，發(fā)布了10多個行業(yè)大模型。

最后是為應用提供大模型底座服務。李彥宏認為，對與大部分創(chuàng)業(yè)者和企業(yè)而言，從頭開始做基礎大模型并不現(xiàn)實。因此基于通用大語言模型搶先開發(fā)重要的應用服務，這可能才是真正的機會。

AI，百度尋求的新杠桿

去年12月底的一次內(nèi)部全員會中，李彥宏正視了百度這幾年的頹勢。

他說：“百度這幾年過得比較苦，財報、業(yè)務增長性都不是那么光鮮……有些技術同學做的事離市場很遠，純屬自嗨，做了一兩年發(fā)現(xiàn)東西沒人用。”

以2010年“自然語言處理部”成立為起點，百度在AI上發(fā)力已經(jīng)超過十年。但直到去年，百度全年廣告營收仍占60.4%，被寄予厚望的AI還在往撐起百度第二增長曲線的目標努力。

ChatGPT爆火后，三個月達到過億用戶，其矚目程度也讓國內(nèi)科技公司趨之若鶩，同樣身披搜索+AI標簽的百度，自然不會放過這一機會。2月初，百度CEO李彥宏的OKR曝光：“引領搜索體驗的代際變革”。

擁有大量數(shù)據(jù)、技術沉淀和業(yè)務場景的百度，是現(xiàn)有互聯(lián)網(wǎng)企業(yè)中跑通大模型可能性最大、速度最快的一家——芯片有昆侖，學習框架有飛槳，模型有文心，應用則有搜索、智能云、智能駕駛等廣闊的落地場景。

文心一言的基座、2019年發(fā)布的通用大模型“文心大模型ERNIE”，目前以迭代至千億級參數(shù)的ERNIE 3.0 Zeus，具備智能創(chuàng)作等自然語言理解和生成任務。在李彥宏的期待中，一旦文心一言與百度多項業(yè)務結(jié)合，數(shù)據(jù)和模型迭代的飛輪將會快速轉(zhuǎn)動：“目前，ERNIE 3.0每天接受數(shù)十億次用戶的搜索請求。這讓文心一言能夠基于一個龐大的、高效的數(shù)據(jù)池，快速地學習和改進。”

3月16日起，文心一言官網(wǎng)針對少量用戶開啟了內(nèi)測，后續(xù)將陸續(xù)開放給更多用戶。此外，百度智能云即將面向企業(yè)客戶開放文心一言API接口調(diào)用服務。

文心一言能否真能如李彥宏期待的那樣，成為撬動業(yè)務發(fā)展的杠桿，還需要市場的檢驗。

下附李彥宏在文心一言發(fā)布會的演講全文（略經(jīng)36氪編輯）：

各位媒體朋友，各位嘉賓，大家好。歡迎參加文心一言新聞發(fā)布會。非常感謝大家對文心一言的關注和支持。

最近一段時間，很多朋友問我，“為什么是今天，你們真的ready了嗎”。其實從某種意義上說我們已經(jīng)為此準備了多年，我們十幾年前就開始投入AI研究，2019年就推出了文心大語言模型，今天的文心一言是過去多年努力的延續(xù)。

但也不能說我們完全ready了，文心一言對標ChatGPT、甚至是對標CGT-4，門檻是很高的，全球大廠還沒有一個做出來的，百度是第一個。我自己測試感覺還是有很多不完美的地方。

那為什么是今天？因為市場有需求。百度的很多產(chǎn)品，從搜索到智能云，再到自動駕駛，到小度，大家都有需要，更重要的是我們的客戶需要，合作伙伴需要，從我們承認文心一言的存在到現(xiàn)在，短短一個月的時間，就有超過650家合作伙伴宣布加入文心一言生態(tài)，大家都希望能早一點用上最新最先進的大語言模型。

當然，一旦有了真實的人類反饋，文心一言的進步速度會非常快，我們都希望它快點成長，早日為用戶和客戶創(chuàng)造價值。

百度希望和大家一起，推動人工智能技術進步，讓所有人都能使用最先進的生產(chǎn)力工具，讓所有人都能從中受益。

一、

下面，我會演示五個場景的Demo，包括文學創(chuàng)作、商業(yè)文案創(chuàng)作、數(shù)理推算、中文理解、多模態(tài)生成。（演示過程略）

AI要寫好一篇稿子，除了需要準確理解我們的意圖，還要有清晰的表達能力。

這背后有一個基礎，就是龐大的數(shù)據(jù)規(guī)模。人類常說“讀萬卷書”，而AI可以說是 “讀書破千億卷”。文心一言大模型的訓練數(shù)據(jù)就包括，萬億級網(wǎng)頁數(shù)據(jù)，數(shù)十億的搜索數(shù)據(jù)和圖片數(shù)據(jù)，百億級的語音日均調(diào)用數(shù)據(jù)，以及5500億事實的知識圖譜等，這讓百度在中文語言的處理上，能夠處于獨一無二的位置。

有研究表明，數(shù)據(jù)規(guī)模足夠大，參數(shù)達到千億級，大模型就可能發(fā)生“智能涌現(xiàn)”，即使在沒有專門訓練過的領域，也能涌現(xiàn)出知識理解和邏輯推理能力。

文心一言已具備了一定的思維能力，能夠?qū)W會數(shù)學推演及邏輯推理這類相對復雜任務。當然，現(xiàn)階段準確率還不是100%，我們還需要給它更多的時間來學習和成長。

作為扎根于中國市場的大語言模型，文心一言具備中文領域最先進的自然語言處理能力。這個例子就比較清楚的展示了我們在中文上的優(yōu)勢。

相對應的，一言目前對英文語種、代碼場景的訓練還不夠多，表現(xiàn)還不夠好，接下來我們還要加緊訓練，不斷完善這些能力。

目前文心一言的版本，已經(jīng)能夠生成文字、圖片和語音。生成視頻因為成本比較高，還沒有對所有用戶開放，未來我們會逐步接入。但是熟悉百家號創(chuàng)作的朋友，應該都體驗過這個功能了，每天有幾萬篇文章通過這個能力轉(zhuǎn)成視頻內(nèi)容在百度分發(fā)。

多模態(tài)是生成式AI一個明確的發(fā)展趨勢。未來，隨著百度多模態(tài)統(tǒng)一大模型的能力增強，文心一言的多模態(tài)生成能力，也會不斷提升。

從文心一言的表現(xiàn)看，某種程度上它具有了對人類意圖的理解能力，回答的準確性、邏輯性、流暢性，都逐漸接近人類水平。

但整體而言，這類大語言模型還遠未到發(fā)展完善的階段，它們有時候會有很驚艷的表現(xiàn)，但不少場景下，細究起來還有明顯的bug，進步空間很大。未來這段時間它一定會飛速發(fā)展，日新月異。

通過定向微調(diào)，可以在百度內(nèi)外部各類產(chǎn)品上逐步展示出驚人的親和力，讓每一個產(chǎn)品離自己的用戶和客戶更近。

二、

文心一言這樣的大語言模型，會成為每個人必不可少的生產(chǎn)力工具。

不過，無論是哪家公司，都不可能靠突擊幾個月就能做出這樣的大語言模型。深度學習、自然語言處理，需要多年的堅持和積累，沒法速成。

人類進入人工智能時代，IT技術的技術棧發(fā)生了根本性變化。過去基本分為三層：芯片層，操作系統(tǒng)層和應用層?，F(xiàn)在可以分為四層：芯片層、框架層、模型層和應用層。

今天，百度是全球為數(shù)不多、在這四層進行全棧布局的人工智能公司，從高端芯片昆侖芯，到飛槳深度學習框架，再到文心預訓練大模型，到搜索、智能云、自動駕駛、小度等應用，各個層面都有領先業(yè)界的自研技術。

文心一言位于模型層。2019 年，百度推出了文心大模型ERNIE 1.0。目前，ERNIE 3.0每天接受數(shù)十億次用戶的搜索請求。這讓文心一言能夠基于一個龐大的、高效的數(shù)據(jù)池，快速地學習和改進。

大模型訓練堪稱暴力美學，需要有大算力、大數(shù)據(jù)和大模型，每一次訓練任務都耗資巨大。全棧布局的優(yōu)勢在于，可以在技術棧的四層架構(gòu)中，實現(xiàn)端到端優(yōu)化，大幅提升效率。尤其是，框架層和模型層之間，有很強的協(xié)同作用，可以幫助構(gòu)建更高效的模型，并顯著降低成本。事實上，超大規(guī)模模型的訓練和推理，給深度學習框架帶來了很大考驗。比如，為了支持千億參數(shù)模型的高效分布式訓練，百度飛槳專門研發(fā)了 4D 混合并行技術。

另外，芯片、框架、大模型、和終端應用場景，可以形成一個高效的反饋閉環(huán)，幫助大模型不斷去調(diào)優(yōu)迭代，越做越好。更好的大模型，會讓用戶體驗不斷升級。

我還想強調(diào)一點，在全球范圍內(nèi)，在四層架構(gòu)的每一層都有領先產(chǎn)品的公司幾乎沒有，百度的優(yōu)勢非常獨特，相信大家會在后續(xù)文心的迭代速度上有明顯感受。

三、

自2月份百度官宣“文心一言”以來，已有超過650家企業(yè)宣布接入文心一言生態(tài)，感謝每一位伙伴的支持。

這也意味著，很多的企業(yè)已經(jīng)理解到，文心一言和生成式AI，代表了一個新的技術范式，是一個每家企業(yè)都不可以錯過的巨大的機會。AI市場即將迎來爆發(fā)性的需求增長，其商業(yè)價值的釋放將是前所未有的、指數(shù)級的。

我們對文心一言的定位，是一個通用的賦能平臺，金融、能源、媒體、政務等千行百業(yè)，都可以基于這個平臺來實現(xiàn)智能化變革，實現(xiàn)效率提升，創(chuàng)造巨大的商業(yè)價值。

文心一言不僅僅會影響搜索或者互聯(lián)網(wǎng)公司，而是會影響到每一家公司，由于它超強的自然語言理解和表達能力，它讓任何公司都有機會離自己的客戶更近，有機會通過這些能力去創(chuàng)建最好的客戶體驗，從而比其他人更能抓住客戶，獲得更強的競爭優(yōu)勢。

文心一言對個人的改變也會是巨大的，有機構(gòu)預測，到2030年，人工智能可以將每一個知識工作者的生產(chǎn)力提高4倍以上。很多人的工作性質(zhì)會發(fā)生不可逆轉(zhuǎn)的改變。

我認為生成式AI，將催生新產(chǎn)品、新業(yè)態(tài)，會有很多創(chuàng)業(yè)和投資機會。

對于大部分創(chuàng)業(yè)者和企業(yè)來說，真正的機會并不是從頭開始做ChatGPT和文心一言這樣的基礎大模型，這很不現(xiàn)實，也不經(jīng)濟。

對于大部分創(chuàng)業(yè)者和企業(yè)來說，真正的機會是，基于通用大語言模型，搶先開發(fā)重要的應用服務。就像移動互聯(lián)網(wǎng)時代，最成功的商業(yè)產(chǎn)品不見得是安卓和IOS，而是基于安卓和IOS開發(fā)的微信、淘寶、抖音等各種超級應用。

我認為大模型時代將產(chǎn)生三大產(chǎn)業(yè)機會：

第一類是新型云計算公司，其主流商業(yè)模式從IaaS變?yōu)镸aaS。文心一言，將根本性地改變云計算行業(yè)的游戲規(guī)則。之前企業(yè)選擇云廠商更多看算力、存儲等基礎云服務。未來，更多會看框架好不好、模型好不好，以及模型、框架、芯片、應用這四層之間的協(xié)同。

文心一言將通過百度智能云對外提供服務，幫助企業(yè)構(gòu)建自己的模型和應用，農(nóng)業(yè)、工業(yè)、金融、教育、醫(yī)療、交通、能源等重點領域，都會因此效率大幅提升，并在每一個行業(yè)快速形成新的產(chǎn)業(yè)空間，助力數(shù)字中國的實現(xiàn)。百度智能云將于近期舉辦新聞發(fā)布會。主題圍繞文心一言的云服務和應用產(chǎn)品，我們既有公有云服務和也可以做私有化部署，請大家期待。

第二類是進行行業(yè)模型精調(diào)的公司，這是通用大模型和企業(yè)之間的中間層，他們具有行業(yè)Konwhow，調(diào)用通用大模型能力，為行業(yè)客戶提供解決方案。我們的文心大模型，已經(jīng)在電力、金融、媒體等領域，發(fā)布了10多個行業(yè)大模型。在各行各業(yè)都有機會。非常歡迎大家來跟我們合作。

第三類是基于大模型底座進行應用開發(fā)的公司，即應用服務提供商。今天，基于文本生成、圖像生成、音頻生成、視頻生成、數(shù)字人、3D等場景，已經(jīng)涌現(xiàn)出很多創(chuàng)業(yè)明星公司，他們可能就是未來的新巨頭。這里面的機會非常多，可以說每家企業(yè)在現(xiàn)在這個階段都有機會。

我們相信，人工智能會徹底改變我們今天的每一個行業(yè)。AI的長期價值，對各行各業(yè)的顛覆性改變，才剛剛開始。未來，將會有更多的殺手級應用、現(xiàn)象級產(chǎn)品出現(xiàn)，將會有更多的里程碑事件發(fā)生。

四、

之后，文心一言將建立起真實用戶反饋、開發(fā)者調(diào)用和模型迭代之間的飛輪，效果會迅速提升，給你“士別三日，當刮目相看”的驚喜。

最后我想說，文心一言不是中美科技對抗的工具，而是一代代百度技術人員追逐科技改變世界的夢想的產(chǎn)物，是我們服務億萬用戶，賦能千行百業(yè)的全新的平臺，是創(chuàng)新驅(qū)動發(fā)展的最佳證明。

謝謝大家的關注和支持。