在紅色教育中，智能頭顯讓歷史“活”了起來(lái)；在醫(yī)學(xué)培訓(xùn)中，虛實(shí)融合系統(tǒng)讓醫(yī)生在安全環(huán)境中反復(fù)錘煉手術(shù)技藝；在消費(fèi)場(chǎng)景中，創(chuàng)意與信息即時(shí)疊加于現(xiàn)實(shí)世界，智能眼鏡成為設(shè)計(jì)師的“空間畫布”。上海元宇宙技術(shù)正從概念走向產(chǎn)業(yè)，開(kāi)創(chuàng)前沿創(chuàng)新應(yīng)用，虛實(shí)融合的元宇宙生態(tài)加速成形。

原汁原味保留教育內(nèi)容

戴上智能頭顯，上海工人武裝起義的歷史現(xiàn)場(chǎng)在眼前展開(kāi)。點(diǎn)亮火種、狙擊打靶、拼接鐵軌、啟動(dòng)列車，得益于自然的手勢(shì)識(shí)別與敏銳的眼動(dòng)追蹤技術(shù)，體驗(yàn)者以第一視角投身那段熱血?dú)q月，在真實(shí)可感的互動(dòng)體驗(yàn)中實(shí)現(xiàn)沉浸式紅色教育。

2024年6月，上海商學(xué)院與中共一大紀(jì)念館共建新媒體與元宇宙實(shí)驗(yàn)室，開(kāi)展XR核心技術(shù)研究，以數(shù)字技術(shù)賦能紅色文化資源。上海商學(xué)院商務(wù)信息學(xué)院黨總支書記宋曉光介紹，實(shí)驗(yàn)室獨(dú)立開(kāi)發(fā)了以上海工人階級(jí)第三次武裝起義為背景的MR大空間場(chǎng)景《紅色黎明》，以空間計(jì)算替代傳統(tǒng)LBE（基于位置的娛樂(lè)）需要貼地標(biāo)的限制，讓互動(dòng)體驗(yàn)更加自然流暢。

MR大空間場(chǎng)景《紅色黎明》。

未來(lái)，實(shí)驗(yàn)室的主要研究目標(biāo)是專注元宇宙在高校各教學(xué)領(lǐng)域的應(yīng)用，深度融合生成式人工智能與元宇宙，讓學(xué)生能夠快速搭建元宇宙場(chǎng)景，最終目標(biāo)是各類學(xué)科都可以開(kāi)發(fā)自己的元宇宙應(yīng)用。

之所以設(shè)立這樣的目標(biāo)，是因?yàn)樵诮逃校瑐鹘y(tǒng)VR內(nèi)容開(kāi)發(fā)面臨的關(guān)鍵瓶頸是，教師需要將教學(xué)設(shè)計(jì)轉(zhuǎn)譯給技術(shù)人員，這一過(guò)程存在“翻譯損耗”。技術(shù)人員難以充分理解教學(xué)精髓，導(dǎo)致最終產(chǎn)品往往無(wú)法精準(zhǔn)還原教師的教學(xué)意圖與核心知識(shí)點(diǎn)。

宋曉光表示，AI的介入改變了元宇宙開(kāi)發(fā)范式，它能夠精準(zhǔn)理解教學(xué)點(diǎn)，“原汁原味”地轉(zhuǎn)化為VR交互邏輯，保持教學(xué)設(shè)計(jì)的完整性與準(zhǔn)確性，讓技術(shù)真正服務(wù)于教學(xué)本身。

虛實(shí)結(jié)合賦能醫(yī)學(xué)培訓(xùn)

成立于2016年的空島信息科技（上海）有限公司開(kāi)發(fā)虛實(shí)結(jié)合的醫(yī)學(xué)教育培訓(xùn)，創(chuàng)始人閔世豪介紹，團(tuán)隊(duì)構(gòu)建了七大虛實(shí)結(jié)合的專科系統(tǒng)，覆蓋心腦血管介入、眼科白內(nèi)障切除、麻醉科困難氣道管理、超聲科、執(zhí)業(yè)醫(yī)師考核、急救等，實(shí)現(xiàn)醫(yī)學(xué)?？婆R床模擬和AI技術(shù)臨床應(yīng)用，以元宇宙臨床和AI科研支持，為全國(guó)30家重點(diǎn)三甲醫(yī)院提供臨床手術(shù)術(shù)前規(guī)劃和專科臨床教學(xué)系統(tǒng)，提高醫(yī)療培訓(xùn)效率，降低培訓(xùn)成本。

在外科手術(shù)培訓(xùn)領(lǐng)域，空島信息科技構(gòu)建面向臨床技能訓(xùn)練的VR+AI外科手術(shù)模擬培訓(xùn)與智能分析評(píng)估，通過(guò)虛實(shí)結(jié)合模式構(gòu)建沉浸式手術(shù)模擬，同時(shí)利用AI技術(shù)對(duì)操作視頻深度識(shí)別與分析，輸出客觀量化評(píng)分，突破傳統(tǒng)人工評(píng)價(jià)的主觀局限。該技術(shù)已應(yīng)用于腔鏡手術(shù)培訓(xùn)，學(xué)員可以上傳真實(shí)內(nèi)鏡下的手術(shù)視頻，系統(tǒng)自動(dòng)識(shí)別手術(shù)器械與解剖點(diǎn)位，實(shí)現(xiàn)對(duì)操作視頻的自動(dòng)拆解及工作流智能識(shí)別，輔助外科醫(yī)師高效分析手術(shù)表現(xiàn)。

眼科白內(nèi)障切除仿真模擬教學(xué)系統(tǒng)。

“我們會(huì)根據(jù)臨床需求和臨床特點(diǎn)優(yōu)化設(shè)備，和醫(yī)生共同打磨?！遍h世豪表示，團(tuán)隊(duì)為困難氣道開(kāi)發(fā)的可視化培訓(xùn)系統(tǒng)，直面臨床中張口困難、食道反流等10種復(fù)雜又棘手的氣道場(chǎng)景，通過(guò)構(gòu)建高度逼真的虛擬氣道場(chǎng)景，搭配實(shí)體模擬操作器械，讓學(xué)員深度演練困難氣道管理的操作細(xì)節(jié)，反復(fù)練習(xí)12項(xiàng)常用氣道管理技能。

“無(wú)論是AI、VR，還是未來(lái)的數(shù)字病人，本質(zhì)都是工具，關(guān)鍵在于解決真實(shí)場(chǎng)景問(wèn)題，幫助臨床診療。”回顧虛實(shí)結(jié)合的醫(yī)學(xué)培訓(xùn)系統(tǒng)發(fā)展歷程，閔世豪介紹，最初始于僅能演示的動(dòng)畫，為了實(shí)現(xiàn)交互而引入虛擬仿真與VR，操作手感與肌肉記憶的缺失要求采用力反饋技術(shù)，這是一個(gè)需求驅(qū)動(dòng)的漸進(jìn)過(guò)程。未來(lái)，行業(yè)的發(fā)展方向是構(gòu)建從微觀細(xì)胞到宏觀結(jié)構(gòu)的高度個(gè)性化數(shù)字孿生人體，使臨床訓(xùn)練無(wú)限趨近于真實(shí)。海量數(shù)字孿生人體有望助力醫(yī)療機(jī)器人訓(xùn)練，應(yīng)對(duì)復(fù)雜臨床情況。

欲做智能眼鏡時(shí)代的“抖音”

上海凝豐智能科技有限公司展廳內(nèi)展出了多種類、多功能的消費(fèi)級(jí)智能眼鏡產(chǎn)品。凝豐智能與國(guó)內(nèi)十多家智能眼鏡企業(yè)深度合作，其開(kāi)發(fā)的低門檻快速創(chuàng)作的智能體平臺(tái)“混空Studio Agent”專用于制作元宇宙內(nèi)容。即便是不會(huì)編程的用戶，也可以“拖拉拽”式搭建元宇宙場(chǎng)景，完成制作后一鍵分發(fā)到不同智能終端實(shí)現(xiàn)元宇宙體驗(yàn)。用凝豐智能創(chuàng)始人兼CEO何飛翔的話來(lái)說(shuō)，就是打造智能眼鏡時(shí)代的“抖音”。

快速搭建元宇宙場(chǎng)景。

當(dāng)前，商業(yè)、文旅是元宇宙重要應(yīng)用場(chǎng)景之一。凝豐智能將文商旅資源以元宇宙形式融合創(chuàng)新，將靜態(tài)景觀轉(zhuǎn)化為“可玩、可探、可分享”的動(dòng)態(tài)空間，適配國(guó)內(nèi)外主流智能眼鏡設(shè)備，以沉浸式時(shí)空體驗(yàn)推動(dòng)文娛產(chǎn)業(yè)升級(jí)，延長(zhǎng)游客停留時(shí)間。

在博物館和藝術(shù)策展場(chǎng)景中，游客進(jìn)入展館后租賃AR眼鏡，就可以體驗(yàn)元宇宙文旅導(dǎo)覽或虛實(shí)結(jié)合的互動(dòng)體驗(yàn)。在蓬萊仙洞景區(qū)，凝豐智能依托元宇宙與AR大空間定位識(shí)別技術(shù)，開(kāi)發(fā)了“AR敲響天地時(shí)鐘”與“放飛虛擬孔明燈”兩大核心互動(dòng)場(chǎng)景，突破了傳統(tǒng)溶洞游覽的單一模式。春節(jié)期間，凝豐智能還將在合肥上線“瀘州燈會(huì)”元宇宙體驗(yàn)。

“過(guò)去幾年，一個(gè)具備虛實(shí)融合與空間交互的場(chǎng)景常被直接稱為元宇宙。但當(dāng)時(shí)的底層技術(shù)和產(chǎn)業(yè)鏈工藝等環(huán)節(jié)并不成熟，導(dǎo)致始終缺乏可規(guī)模落地的應(yīng)用場(chǎng)景，元宇宙難以普及?！焙物w翔表示，AI破解了元宇宙落地的痛點(diǎn)之一，AI與AR的深度融合，生產(chǎn)效率有了革命性的提升，制作成本大幅降低，“零基礎(chǔ)”也能開(kāi)發(fā)元宇宙應(yīng)用?！拔覀円呀?jīng)把價(jià)格從過(guò)去的動(dòng)輒10萬(wàn)、20萬(wàn)定制開(kāi)發(fā)費(fèi)用降到千元以內(nèi)?！?/p>

何飛翔預(yù)測(cè)，隨著全彩顯示與空間計(jì)算技術(shù)的進(jìn)步、算力和續(xù)航能力的持續(xù)提升，未來(lái)將能夠開(kāi)發(fā)出更多有趣的應(yīng)用，智能眼鏡將呈現(xiàn)更多精彩畫面，刺激消費(fèi)者的使用頻次，帶動(dòng)智能眼鏡銷量。“在未來(lái)的科學(xué)技術(shù)發(fā)展趨勢(shì)中，唯一能取代智能手機(jī)成為下一個(gè)通用計(jì)算入口的智能單品，一定是智能眼鏡。全彩顯示，融合AI，眼鏡的稱呼不再區(qū)分AI、XR等任何技術(shù)形態(tài)?！?/p>