AI引發(fā)的算力需求到底有多大？各種預(yù)測數(shù)據(jù)雖然并不統(tǒng)一，但可以肯定的是AI和大模型又將帶來新一輪的生產(chǎn)力的變革，在這個(gè)技術(shù)催生的市場變化中，企業(yè)的應(yīng)用變得更加復(fù)雜，業(yè)態(tài)會(huì)更加豐富，底層架構(gòu)單一的CPU或者GPU已經(jīng)不能滿足需求?？偠灾?，企業(yè)面臨的技術(shù)和平臺(tái)挑戰(zhàn)將是空前的。
青云科技（qingcloud.com）總裁林源分析說：“從算力建設(shè)的角度去看，現(xiàn)在是算力集中建設(shè)的階段。大量的算力中心如雨后春筍般出來，成本和技術(shù)是最大的挑戰(zhàn)。如果說建設(shè)期就是蓋機(jī)房、購買設(shè)備，那么中長期的運(yùn)營則是更專業(yè)、更復(fù)雜的問題。這些問題都需要解決，青云也給出了自己的答案，這就是青云最新推出的AI算力調(diào)度平臺(tái)。”
多元算力調(diào)度，管理AI基礎(chǔ)設(shè)施
“在近兩年運(yùn)營過程中，我們總結(jié)出一些這個(gè)行業(yè)當(dāng)前面臨的挑戰(zhàn)，同時(shí)它也是青云所需要解決的問題。”青云科技產(chǎn)品經(jīng)理苗慧在分析行業(yè)挑戰(zhàn)的同時(shí)，也給出了青云科技的解決方案。
首先，解決行業(yè)多元資源統(tǒng)一調(diào)度管理的問題。
在AIGC領(lǐng)域，行業(yè)面臨的普遍問題是大文本和大量行業(yè)數(shù)據(jù)加速，不同的資源需要統(tǒng)一平臺(tái)進(jìn)行管理。比如，一個(gè)影視渲染行業(yè)的用戶，需要渲染一部大電影，他們可以通過青云的平臺(tái)進(jìn)行分發(fā)，即時(shí)構(gòu)建環(huán)境調(diào)度需要用到的渲染資源。
在AI訓(xùn)練方面，用戶通過開源的人類自然語言模型訓(xùn)練圖片、數(shù)據(jù)，做模型微調(diào)，再加上自己的行業(yè)知識，也能通過青云統(tǒng)一的多源資源調(diào)度管理平臺(tái)進(jìn)行分發(fā)管理。
對于管理員來說，通過青云的平臺(tái)，只要通過一個(gè)管理界面、一個(gè)大屏，就能看到其分布在全國的2000臺(tái)資源，3000個(gè)存儲(chǔ)節(jié)點(diǎn)等等，以最少的人力大大提升管理運(yùn)維效率。
二、解決AI應(yīng)用的網(wǎng)絡(luò)瓶頸。青云通過多種方式來解決網(wǎng)絡(luò)瓶頸的問題。在高速組網(wǎng)方面，青云基于傳統(tǒng)的云計(jì)算領(lǐng)域，增加了高速網(wǎng)絡(luò)，并針對不同種類和型號的網(wǎng)卡做了網(wǎng)卡虛擬化和完全的子網(wǎng)隔離，以確保用戶無論是按卡申請還是按節(jié)點(diǎn)申請，都能保證數(shù)據(jù)的安全隔離，保證用戶之間不存在這種數(shù)據(jù)的風(fēng)險(xiǎn)。
在通信鏈路方面，這也是青云在AI算力調(diào)度平臺(tái)著力最多的地方。青云將所有的節(jié)點(diǎn)、服務(wù)器、存儲(chǔ)設(shè)備都做出了路徑標(biāo)簽，設(shè)置最佳路徑距離。通過算法，投入調(diào)度最短鏈路，計(jì)算最短鏈路，保證最好是兩個(gè)節(jié)點(diǎn)在一個(gè)交換機(jī)內(nèi)，這樣不跨交換機(jī)，又減少一些數(shù)據(jù)的傳輸損耗。
針對AI訓(xùn)練，青云提供了在線訓(xùn)練平臺(tái)。把高性能計(jì)算、GPU卡等匯集成起來，在專屬的環(huán)境上，提供GPU服務(wù)器在線申請構(gòu)建集群，所有的網(wǎng)絡(luò)和環(huán)境都可一鍵生成。并且青云會(huì)根據(jù)行業(yè)內(nèi)常用的模型和小工具，進(jìn)行集成。同時(shí)，青云在每個(gè)區(qū)域都有一個(gè)小型的容器鏡像中心，與鏡像節(jié)點(diǎn)和推理服務(wù)進(jìn)行內(nèi)網(wǎng)連接，這使得訓(xùn)練過程更快，遠(yuǎn)比在公網(wǎng)上拉數(shù)據(jù)等要快得多。
第三，解決環(huán)境搭建的復(fù)雜性問題。算力中心面向眾多的終端用戶，這就注定了它的復(fù)雜性。在環(huán)境搭建方面，青云有兩種方式為客戶提供常用的鏡像或者容器。
第四，解決多業(yè)務(wù)整合的瓶頸問題。青云目前已將更多的業(yè)務(wù)以松耦合的模式嵌入整合到青云云平臺(tái)。
第五，解決運(yùn)維平臺(tái)的復(fù)雜管理問題。青云提供了更多的運(yùn)營服務(wù)，尤其是算力中心服務(wù)。以國家超算濟(jì)南中心為例，其后端團(tuán)隊(duì)，既要運(yùn)維軟件還要負(fù)責(zé)客戶的各類運(yùn)維問題，這就需要投入大量的人力還耗時(shí)耗力。青云通過一套運(yùn)維平臺(tái)，讓其定價(jià)、打折、促銷等，只需要在頁面上點(diǎn)擊按鈕就可實(shí)現(xiàn)，而不再需要通過申請表的傳統(tǒng)方式實(shí)現(xiàn)。
總結(jié)而言，青云AI算力調(diào)度平臺(tái)的特性主要有：第一，基于多種芯片，包括通用CPU、英偉達(dá)GPU、信創(chuàng)芯片等等；第二，全生命周期的管理；第三，AIGC業(yè)務(wù)化；第四，通過業(yè)務(wù)化、自動(dòng)化，讓非計(jì)算機(jī)行業(yè)用戶能一鍵運(yùn)行數(shù)據(jù)、業(yè)務(wù)和模型等。
開放的生態(tài)圈，實(shí)現(xiàn)AI整體能力的整合
青云AI算力調(diào)度平臺(tái)是算力中心運(yùn)營者的關(guān)鍵工具，目前其服務(wù)的對象主要為現(xiàn)在和未來投入算力中心建設(shè)的企業(yè)——現(xiàn)在的投資者和未來的運(yùn)營者。
青云把多年運(yùn)營服務(wù)的經(jīng)驗(yàn)融入到了產(chǎn)品、服務(wù)體系，并在國家超算濟(jì)南中心有了成功實(shí)踐。國家超算濟(jì)南中心是一個(gè)包括HPC超算、傳統(tǒng)云計(jì)算（以CPU為主）、智算（兼有國外及國產(chǎn)GPU）的多元計(jì)算中心。和眾多算力中心一樣，國家超算濟(jì)南中心需要的是滿足客戶需求的、成熟的運(yùn)營工具和平臺(tái)。平臺(tái)能力越強(qiáng)，能支撐客戶的業(yè)務(wù)種類越多，客戶越多，盈利模式越清晰。
青云認(rèn)為未來 AI 時(shí)代，企業(yè)一定是通過算力服務(wù)、算法和模型、高價(jià)值的數(shù)據(jù)來實(shí)現(xiàn)智能化，這也是 AI 生態(tài)體系的價(jià)值所在。青云也清醒地認(rèn)識到與不同領(lǐng)域的合作伙伴一起實(shí)現(xiàn)整體能力的整合，才能夠更好地幫助企業(yè)實(shí)現(xiàn) AI 真正的業(yè)務(wù)價(jià)值。
干自己最擅長的AI算力資源調(diào)度，這也與青云科技十幾年來耕耘的云調(diào)度平臺(tái)、IaaS一脈相承。
申請創(chuàng)業(yè)報(bào)道，分享創(chuàng)業(yè)好點(diǎn)子。點(diǎn)擊此處，共同探討創(chuàng)業(yè)新機(jī)遇！
