通過2D人體關鍵點算法接口,實現(xiàn)人體全身2D關鍵點的跟蹤效果,點位準確性高,即使做大幅度動作、遮擋以及轉(zhuǎn)身的情況下,也能準確穩(wěn)定跟蹤。同時針對用戶在短視頻、直播拍攝時的自拍場景,2D人體關鍵點還提供半身模式的點位跟蹤,這樣用戶在單手持手機自拍的情況下,也能準確定位人體數(shù)據(jù)。

在高精度的人體關鍵點模型的基礎上,對視頻中的人物實現(xiàn)全身美體功能,是這項技術比較熱門的應用場景。相芯的技術,可以從瘦身、長腿、細腰、美肩、美臀、小頭、瘦腿等七個美化維度,對人物的身體進行精細化調(diào)整,從而達到一件瘦身塑形的作用。

二、3D人體骨骼

相芯科技開放的3D人體骨骼的算法接口,主要應用于基于3D關鍵點和3D骨骼,實現(xiàn)3D虛擬形象的全身驅(qū)動。這項技術不依賴于深度攝像頭,只需要手機的普通攝像頭就能獲得視頻中的人體3D骨骼數(shù)據(jù),即使人物做大幅度的動作、有動作遮擋、轉(zhuǎn)身等情況都能穩(wěn)定跟蹤。除了身體軀干動作,在手指細節(jié)上,也能識別和跟蹤常見的14種手勢。讓3D虛擬形象能夠更細膩地復原人物的動作。同樣針對他人拍攝和自拍兩種拍攝場景,相芯提供全身和半身兩種模式,支持3D人體骨骼數(shù)據(jù)的輸出。

三、人像分割

通過人像分割的算法接口,可對輸入的視頻進行內(nèi)容理解,將人物進行高精分割解析,將人像區(qū)域分離出來,并實時追蹤。例如視頻直播過程中,識別用戶的人體輪廓,為人物實時替換各種背景特效。也可以與各具創(chuàng)意的人體AR貼紙相結合,讓貼紙實時跟隨人體移動,貼紙素材與人體的前后位置關系可靈活定義,可以充分發(fā)揮運營者的互動創(chuàng)意,為用戶帶來更加豐富的娛樂體驗。

四、頭部分割

通過頭部分割接口,企業(yè)和開發(fā)者可以對人物頭部區(qū)域做更多的特效創(chuàng)意。例如搞笑大頭玩法特效,可以實現(xiàn)視頻中的人物頭部放大的萌態(tài)效果。這項技術還能和其他技術進行組合實現(xiàn)更加新穎的玩法效果。比如將頭部分割和表情系數(shù)結合,即可用特點的表情,觸發(fā)大頭效果,并用表情的夸張程度來實時控制頭部的放大程度。用頭部分割+哈哈鏡+AR貼紙這樣的技術組合,就可以實效惡搞版的效果,充分發(fā)揮腦洞創(chuàng)意。

五、頭發(fā)分割

通過頭發(fā)分割接口,可以在視頻和照片中人物的頭發(fā)區(qū)域高精度地分離出來,可以給頭發(fā)切換各種各樣的顏色,可以是純色,也可以是漸變色,實現(xiàn)一鍵換發(fā)色的特效。同時頭發(fā)的色值支持自定義,并可以進行上色程度的調(diào)整,實現(xiàn)想要的發(fā)色,想換就換。

六、動作識別

相芯科技的動作識別接口,能夠支持15種全身動作的識別。將動作識別和匹配算法相結合,可以開發(fā)出各種體感小游戲,比如“尬舞機”游戲,跟著屏幕的動作提示即可開始跳舞了。同時動作識別也可以與AR貼紙相結合,用特定動作來觸發(fā)貼紙?zhí)匦?充分發(fā)揮體感互動的娛樂性。

七、手勢識別

通過手勢識別接口,可精準識別常見的14種手勢動作。在短視頻直播領域,用戶在拍視頻和拍照過程中,可以通過手勢動作來觸發(fā)各種貼紙?zhí)匦?從而衍生出創(chuàng)意視頻的各種玩法。同時,在智能設備領域,比如智能家電、智能機器人、可穿戴設備、智能互動大屏等智能硬件,可以實現(xiàn)用手勢控制對應的功能。用戶在不接觸設備的情況下,通過簡單的手勢,就能實現(xiàn)對設備的交互和控制,讓人機交互方式更加智能化、自然化。

相芯科技專注于人工智能和計算機圖形學的融合與創(chuàng)新,致力于為消費級應用提供內(nèi)容創(chuàng)作工具、平臺和解決方案。相芯科技的人臉人體AI解決方案目前已累計服務700多家B端客戶,產(chǎn)品被廣泛應用于短視頻、直播、社交、游戲、智能家居、在線教育、廣告營銷、新零售等領域,月均調(diào)用量達40億。

此次的人體AI SDK大更新,相芯針對不同體驗需求推出了兩個版本的體驗demo,分別是特效版和算法版demo。

【特效版demo】模擬真實的用戶應用場景,提供技術的功能演示和體驗,可以在這個demo里面直觀體驗美顏、美妝、道具貼紙、Animoji、美發(fā)、輕美妝、AR面具、搞笑大頭、海報換臉、表情識別、音樂濾鏡、哈哈鏡、美體、全身Avatar、動作識別、人像分割、手勢識別等功能。

同時針對開發(fā)者用戶,為了能更好地體驗各個功能接口在算法層的效果,相芯全新推出【算法版demo】,使用這個demo就能直觀地看到各種人體關鍵點、人體骨骼、mask類功能的算法效果,便于進一步開發(fā)使用。目前開放的接口為2D人體關鍵點、3D人體骨骼、人像分割、頭部分割、頭發(fā)分割、動作識別、手勢識別。