這些，是已經(jīng)實(shí)現(xiàn)了的多模態(tài)AI應(yīng)用，橫貫文字、圖像、語音，在初級(jí)應(yīng)用功能上就已經(jīng)展現(xiàn)出相比單模態(tài)更智能、更自然、更多樣化的魅力，其前景被普遍關(guān)注，只不過很長(zhǎng)一段時(shí)間以來，多模態(tài)的發(fā)展速度一直不算快。

現(xiàn)在，事情正在發(fā)生變化。

在華為全聯(lián)接2021期間，中國(guó)科學(xué)技術(shù)信息研究所、AITISA（新一代人工智能產(chǎn)業(yè)技術(shù)創(chuàng)新戰(zhàn)略聯(lián)盟）和鵬城實(shí)驗(yàn)室聯(lián)合了發(fā)布《人工智能計(jì)算中心發(fā)展白皮書2.0——從人工智能計(jì)算中心走向人工智能算力網(wǎng)絡(luò)》，其中明確提到了以“大算力+大數(shù)據(jù)”使能大模型（多模態(tài)多樣化的能力一般都由大模型才能更好的實(shí)現(xiàn)，或者說多模態(tài)的形式表現(xiàn)為大模型）。會(huì)上，中國(guó)科學(xué)院自動(dòng)化研究所發(fā)布了全球首個(gè)三模態(tài)大模型紫東.太初，這無疑讓多模態(tài)的發(fā)展進(jìn)入了一個(gè)全新的落地階段。

多模態(tài)大模型，正在與人工智能算力網(wǎng)絡(luò)互相促進(jìn)，成為彼此的最佳伴行者。

多重因素下，多模態(tài)大模型已成大勢(shì)所趨

隨著AI的技術(shù)和產(chǎn)業(yè)發(fā)展逐步走向深入，多模態(tài)大模型的趨勢(shì)十分明朗，這主要表現(xiàn)在三個(gè)方面：

首先，是AI自身的能力進(jìn)化要求。

在單模態(tài)領(lǐng)域，例如歸屬NLP的跨語種翻譯這類應(yīng)用，機(jī)器可以說早已超越人類，實(shí)現(xiàn)了重要的技術(shù)和產(chǎn)業(yè)價(jià)值，如果要進(jìn)一步往前走，多模態(tài)自然而然就成為AI技術(shù)和產(chǎn)業(yè)突圍的新方向。與此同時(shí)，單模態(tài)本身也面臨“知識(shí)冰山”的瓶頸問題，進(jìn)一步智能化也需要大模型來支撐，例如對(duì)“老王去吃食堂”的理解，單純的文字?jǐn)?shù)據(jù)很難讓AI辨別“吃食堂”不是把食堂吃掉而是“到食堂吃飯”，但一張場(chǎng)景圖片或視頻就可以很容易解釋清楚并關(guān)聯(lián)起來。

然后，是“數(shù)據(jù)”供給的要求。

數(shù)據(jù)是AI發(fā)展的根本、是AI的“食物”，在全球范圍內(nèi)，包括中國(guó)市場(chǎng)上，互聯(lián)網(wǎng)的出現(xiàn)幫助AI模型訓(xùn)練的數(shù)據(jù)量越來越龐大，它們讓AI得到了快速的能量補(bǔ)充。

然而，目前互聯(lián)網(wǎng)音視頻數(shù)據(jù)高速增長(zhǎng)，占比超過80%，單一數(shù)據(jù)類型例如文本只占不多的比例，這使得更豐富的語音、圖像、視頻等數(shù)據(jù)并未被充分利用與學(xué)習(xí)，以多模態(tài)的方式將更深度、更廣泛地挖掘這些數(shù)據(jù)的價(jià)值，反過來，大量的各種屬性的數(shù)據(jù)投喂也將推動(dòng)AI擺脫單模態(tài)，朝著多模態(tài)大模型不斷前進(jìn)。

最后，是產(chǎn)業(yè)需求的倒逼。

隨著AI逐步落地，產(chǎn)業(yè)需求也在往深處走，更多場(chǎng)景應(yīng)用需要多模態(tài)大模型來支撐，例如，跨模態(tài)檢索、智能問答、文學(xué)藝術(shù)創(chuàng)作、視頻配音、視頻摘要等等。

可以說，越是在技術(shù)層面將圖像、文字、語音相互融合，一個(gè)應(yīng)用在場(chǎng)景中表現(xiàn)的價(jià)值就越為明顯，也更能讓AI的場(chǎng)景應(yīng)用真正告別常常被詬病的“雞肋”感。

算力、框架、技術(shù)積累三位一體，多模態(tài)大模型加速落地

為什么紫東.太初這樣的多模態(tài)大模型得以實(shí)現(xiàn)，原因主要有三大方面，缺一不可：

1、人工智能算力網(wǎng)絡(luò)成為多模態(tài)、大模型的重要推進(jìn)因素

多模態(tài)大模型的一個(gè)重要特征，是訓(xùn)練的參數(shù)規(guī)模呈現(xiàn)指數(shù)級(jí)的上升。

以往的單模態(tài)，單一類型的數(shù)據(jù)“喂養(yǎng)”幫助AI模型獲取知識(shí)、迭代能力，相對(duì)而言模型本身并不需要太多的參數(shù)，就如同小學(xué)生不斷學(xué)習(xí)加減乘除一樣只要理解基本的數(shù)學(xué)規(guī)則一樣。

而當(dāng)不同模態(tài)加入后，一個(gè)可以識(shí)別圖像、文字、語音的通用算法，不僅需要理解單模態(tài)的各種數(shù)據(jù)，還需要理解不同數(shù)據(jù)之間極端復(fù)雜的聯(lián)系，模型的參數(shù)發(fā)生膨脹，這就如同專業(yè)的大學(xué)理工科學(xué)習(xí)需要綜合各種學(xué)科知識(shí)進(jìn)行復(fù)雜地算一樣。

這時(shí)候，很顯然，算力就成為最基本的支撐，只有超大規(guī)模的算力才能支撐大模型的訓(xùn)練，才能讓多模態(tài)應(yīng)用有更好的效果。

所以，在提供強(qiáng)大集群化算力的各地人工智能計(jì)算中心基礎(chǔ)上，人工智能算力網(wǎng)絡(luò)的出現(xiàn)，進(jìn)一步解決了多模態(tài)大模型的算力需求問題，成為重要的推進(jìn)因素。

事實(shí)上，由于大模型的運(yùn)算很多時(shí)候還有波峰波谷的問題（即計(jì)算時(shí)算力耗費(fèi)巨大，而不計(jì)算時(shí)則算力閑置），而人工智能算力網(wǎng)絡(luò)又能在全國(guó)范圍內(nèi)感知、分配、調(diào)度人工智能算力，根據(jù)各中心算力資源的情況和各地區(qū)的需求情況進(jìn)行算力動(dòng)態(tài)調(diào)配，雙方的供需關(guān)系除了“量”之外在“節(jié)奏”上也十分契合。

反過來看，多模態(tài)大模型的技術(shù)發(fā)展以及在產(chǎn)業(yè)中的應(yīng)用，也將推動(dòng)本身作為各地產(chǎn)業(yè)集群推進(jìn)力量的人工智能算力網(wǎng)絡(luò)更好地發(fā)展，“物盡其用”同時(shí)技術(shù)不斷進(jìn)步，可見二者是相互促進(jìn)的關(guān)系。

2、昇思MindSpore特性推動(dòng)開發(fā)加速

由于模型參數(shù)十分龐大，光有算力支撐還不行，多模態(tài)大模型開發(fā)所依托的AI框架也需要有承載和利用算力、支持龐大參數(shù)的能力，而這方面，過去國(guó)內(nèi)外已有的一些主流開發(fā)框架都只支持簡(jiǎn)單的數(shù)據(jù)并行，滿足不了大模型的需要。

本次在華為全聯(lián)接2021上發(fā)布的多模態(tài)大模型紫東.太初，就基于昇思框架訓(xùn)練的，這是業(yè)界首個(gè)支持全自動(dòng)并行的框架，全球首個(gè)中文預(yù)訓(xùn)練大模型鵬程.盤古就出自其手。

昇思框架與多模態(tài)大模型相契合的主要技術(shù)優(yōu)勢(shì)在于，可以在訓(xùn)練過程中自動(dòng)將模型切分到不同的設(shè)備，并高效地利用龐大的計(jì)算設(shè)備集群來完成并行訓(xùn)練，相當(dāng)于建立了一套行之有效的中樞指揮系統(tǒng)，將計(jì)算任務(wù)以同時(shí)進(jìn)行的方式分配下去，再大的訓(xùn)練任務(wù)也能有條不紊實(shí)現(xiàn)加速，而不是堵塞起來。

其實(shí)現(xiàn)過程，是通過多維度自動(dòng)并行這一獨(dú)特能力來實(shí)現(xiàn)的——通過數(shù)據(jù)并行、模型并行、Pipeline并行、異構(gòu)并行、重復(fù)計(jì)算、高效內(nèi)存復(fù)用及拓?fù)涓兄{(diào)度，降低通信時(shí)間的占用，實(shí)現(xiàn)整體迭代時(shí)間最小，簡(jiǎn)單來說就是通過一系列技術(shù)創(chuàng)新來讓并行更有規(guī)模和效率，無需像其他AI框架一樣半自動(dòng)甚至是手動(dòng)來完成大模型的并行執(zhí)行開發(fā)。

在最新的1.5版本更新中，昇思框架還增加了多種并行調(diào)優(yōu)，支持在大集群下高效訓(xùn)練千億至萬億參數(shù)模型。

3、已有多模態(tài)大模型相關(guān)經(jīng)驗(yàn)基礎(chǔ)

多模態(tài)能力一定建立在單模態(tài)能力的基礎(chǔ)之上，這是毫無疑問的。此次紫東.太初的開發(fā)者即中國(guó)科學(xué)院自動(dòng)化研究所，是昇騰AI的重要生態(tài)伙伴，在發(fā)布紫東.太初之前，中科院自動(dòng)化研究所就已經(jīng)在圖像、語音、文本三個(gè)方面自研了業(yè)界領(lǐng)先的模型：

在此基礎(chǔ)上，中科院自動(dòng)化研究所與昇騰AI攜手，還實(shí)現(xiàn)了一些“前期準(zhǔn)備”能力的構(gòu)建，包括圖文跨模態(tài)理解與生成性能、視頻理解與描述性能的全球領(lǐng)先，這些都成為紫東.太初的重要支撐：

最終可以看到，全球首個(gè)三模態(tài)大模型紫東.太初應(yīng)運(yùn)而生，讓多模態(tài)從常見的兩個(gè)模態(tài)一躍邁入了三模態(tài)時(shí)代，不僅可以實(shí)現(xiàn)跨模態(tài)理解（比如圖像識(shí)別、語音識(shí)別等任務(wù)），也能完成跨模態(tài)生成（比如從文本生成圖像、從圖像生成文本、語音生成圖像和視頻等任務(wù)）。

看起來，兩個(gè)模態(tài)與三個(gè)模態(tài)似乎只有數(shù)量的差別，但從技術(shù)上，其實(shí)現(xiàn)難度或與二維世界到三維世界的跨越類似，需要大量的技術(shù)積累與創(chuàng)新。而一旦三模態(tài)得以實(shí)現(xiàn)，相比較兩模態(tài)，AI的交互會(huì)變得更加自然，能夠離強(qiáng)人工智能更近一步。

結(jié)語

多模態(tài)大模型正在加速賦能產(chǎn)業(yè)，在開源開放的大前提下，昇騰AI加持的紫東.太初正在走入智能駕駛、工業(yè)質(zhì)檢、影視創(chuàng)作、智慧醫(yī)療等應(yīng)用場(chǎng)景，合作客戶包括上汽集團(tuán)、魏橋創(chuàng)業(yè)等知名企業(yè)，一幅多模態(tài)大模型賦能千行百業(yè)的圖景正在展開。

從多模態(tài)大模型的發(fā)展可以看出，未來，隨著人工智能算力網(wǎng)絡(luò)、昇思框架這樣的基礎(chǔ)軟硬件突破性項(xiàng)目的發(fā)展，中國(guó)的AI將實(shí)現(xiàn)從基礎(chǔ)技術(shù)到產(chǎn)業(yè)應(yīng)用的全面領(lǐng)先，憑借技術(shù)和模式創(chuàng)新?lián)碛姓嬲母?jìng)爭(zhēng)壁壘。

*本文圖片均來源于網(wǎng)絡(luò)

*此內(nèi)容為【科技向令說】原創(chuàng)，未經(jīng)授權(quán)，任何人不得以任何方式使用，包括轉(zhuǎn)載、摘編、復(fù)制或建立鏡像。

【完】

曾響鈴

1鈦媒體、品途、人人都是產(chǎn)品經(jīng)理等多家創(chuàng)投、科技網(wǎng)站年度十大作者；

2虎嘯獎(jiǎng)評(píng)委；

3作家：【移動(dòng)互聯(lián)網(wǎng)+ 新常態(tài)下的商業(yè)機(jī)會(huì)】等暢銷書作者；

4《中國(guó)經(jīng)營(yíng)報(bào)》《商界》《商界評(píng)論》《銷售與市場(chǎng)》等近十家報(bào)刊、雜志特約評(píng)論員；

5鈦媒體、36kr、虎嗅、界面、澎湃新聞等近80家專欄作者；

6“腦藝人”（腦力手藝人）概念提出者，現(xiàn)演變?yōu)?ldquo;自媒體”，成為一個(gè)行業(yè)；

7騰訊全媒派榮譽(yù)導(dǎo)師、多家科技智能公司傳播顧問。

申請(qǐng)創(chuàng)業(yè)報(bào)道，分享創(chuàng)業(yè)好點(diǎn)子。點(diǎn)擊此處，共同探討創(chuàng)業(yè)新機(jī)遇！