圖像識別、智能助手、虛擬人、文生視頻……通用人工智能技術(shù)的不斷發(fā)展和創(chuàng)新,讓人們進(jìn)一步向智能時代邁進(jìn)。然而,目前運(yùn)用人工智能技術(shù)呈現(xiàn)的圖像畫面大多以二維效果為主,在空間、時間和細(xì)節(jié)方面仍有較大上升空間。
如何為AI裝一雙「慧眼」,讓畫面看的更清、更細(xì)、更自然?4月29日,記者從中國科學(xué)院深圳先進(jìn)技術(shù)研究院了解到,該院集成技術(shù)研究所機(jī)器視覺研究中心研究員宋展團(tuán)隊(duì)在人臉動態(tài)三維成像技術(shù)領(lǐng)域取得進(jìn)展,研究團(tuán)隊(duì)自主研發(fā)出多視角4D高精度人臉三維成像系統(tǒng),相較傳統(tǒng)的3D人臉掃描技術(shù),該系統(tǒng)在精度、解像度和速度上均實(shí)現(xiàn)大幅提升,可應(yīng)用在包括但不限於人臉識別、醫(yī)療診斷、影視特效等方面。
據(jù)介紹,研究團(tuán)隊(duì)開發(fā)的多視角4D人臉掃描系統(tǒng),由三個不同近紅外波段的結(jié)構(gòu)光相機(jī)構(gòu)成,底層算法採用了宋展團(tuán)隊(duì)提出的高頻條紋位移編碼三維重建方法,可以實(shí)現(xiàn)1080P(1920*1080像素)解像度下超過100幀每秒的三維掃描速度,基於GPU的高並行三維重建算法可實(shí)現(xiàn)高達(dá)300赫茲的實(shí)時重建速度,且深度成像誤差小於0.05毫米。
「每個深度相機(jī)都由一個近紅外結(jié)構(gòu)光投影光柵和一個工業(yè)相機(jī)組成,深度相機(jī)每重建一次,投影儀都要向被測物體投射一組預(yù)設(shè)高頻條紋圖案,並用相機(jī)拍下這些圖案在被測物體上產(chǎn)生變形的圖案。最終,根據(jù)相機(jī)拍到的變形圖案分析得到深度信息,即3D信息。深度相機(jī)實(shí)現(xiàn)連續(xù)掃描,增加了時間軸信息,由此得到4D信息。」深圳先進(jìn)院集成所在讀碩士生吳迪解釋道。
此外,為了實(shí)現(xiàn)多角度更為完整的三維人臉動態(tài)成像,該系統(tǒng)採用了三種不同波段的近紅外光(人眼不可見)作為光源,既避免了人臉產(chǎn)生炫目,還避免了三套設(shè)備投影儀投射圖案相互干擾,大大改善了成像完整性。
「近紅外光低,對人眼友好,但是對皮膚具有一定的穿透性,使得投射的高頻光柵圖案產(chǎn)生模糊,降低了三維重建精度?!顾握贡硎?,對此,研究團(tuán)隊(duì)採用了創(chuàng)新的圖像增強(qiáng)算法,結(jié)合高魯棒性的條紋編解碼算法突破,提高了解碼投射圖案的相位計(jì)算精度,從而提高了三維重建精度,與此同時還要考慮算法的實(shí)時性和並行性,為3D動態(tài)模型獲取、頭部姿態(tài)估計(jì)和面部表情遷移等基礎(chǔ)工作的研究提供高精度的數(shù)據(jù)支持。
宋展介紹,該系統(tǒng)在多個領(lǐng)域應(yīng)用前景廣闊,例如,在新型顯示技術(shù)方面,有望為全息投影、空氣成像等新型顯示技術(shù),以及AR顯示終端提供三維數(shù)據(jù)採集設(shè)備;在影視領(lǐng)域,可實(shí)時捕捉演員的高精度面部表情,結(jié)合表情遷移技術(shù),實(shí)現(xiàn)從真人的表情到卡通形象的表情遷移;在遊戲領(lǐng)域,該系統(tǒng)可捕捉用戶面部信息,結(jié)合視線追蹤技術(shù)實(shí)現(xiàn)人機(jī)交互;在醫(yī)療領(lǐng)域,該系統(tǒng)可幫助提供患者面部表情信息,助力醫(yī)療診斷等;在人形機(jī)械人領(lǐng)域,該技術(shù)可以為機(jī)械人提供更加精確而敏銳的4D視覺感知方法,讓其從只能幹粗活變成可以干更多精細(xì)的活。
人工智能技術(shù)的發(fā)展,很大程度上依賴於數(shù)據(jù)驅(qū)動?!付S平面上生成的圖像或視頻往往難以呈現(xiàn)出真實(shí)世界的三維結(jié)構(gòu),未來,AI技術(shù)生成的視頻會逐漸從二維視頻向三維視頻發(fā)展,想要生成更高質(zhì)量的三維視頻,離不開三維數(shù)據(jù)的支撐。」宋展說道,該系統(tǒng)可以為「3D+AI」研究提供了真實(shí)、精細(xì)的高質(zhì)量三維數(shù)據(jù),解決了目前該研究領(lǐng)域高精度三維數(shù)據(jù)不足的問題,為AI模型生成更高質(zhì)量的視頻提供實(shí)時、高精度的、高解像度的數(shù)據(jù)支撐。
據(jù)了解,目前研究團(tuán)隊(duì)已將該技術(shù)運(yùn)用到電影特效、特種加工、面部3D診療、動態(tài)3D視覺引導(dǎo)裝配等方面,並取得了良好的效果。未來,研究團(tuán)隊(duì)還將進(jìn)一步加強(qiáng)底層算法研究,進(jìn)一步提高編碼效率成像速度,降低硬件成本,研製模塊化高時空解像度4D成像器件,將其應(yīng)用於更多的工業(yè)和信息通訊領(lǐng)域,為新質(zhì)生產(chǎn)力發(fā)展提供銳利的視覺成像技術(shù)支撐。(記者 林麗青)
頂圖:宋展與團(tuán)隊(duì)成員調(diào)試多視角4D人臉掃描系統(tǒng)。 林一程攝