?影院體驗(yàn)很爽，異能武術(shù)觀感極佳，不過(guò)，回憶部分的動(dòng)畫(huà)比較奇怪。

——豆瓣觀眾

我特別喜歡AI那段，這個(gè)呈現(xiàn)方式非常新，既能保證表演準(zhǔn)確度又能保證視覺(jué)風(fēng)格化。

——原著作者米二

電影制作精良、演員表演準(zhǔn)確，人物關(guān)系清晰、故事節(jié)奏明快、還有AI動(dòng)畫(huà)的技術(shù)創(chuàng)新，值得4星。

——電影人@張小北

電影對(duì)新技術(shù)的應(yīng)用，體現(xiàn)在真人摹片動(dòng)畫(huà)與人工智能技術(shù)的結(jié)合上。

——導(dǎo)演烏爾善

由導(dǎo)演烏爾善執(zhí)導(dǎo)、胡先煦、李宛妲主演的奇幻動(dòng)作大片《異人之下》正在公映中。電影改變自“巔峰國(guó)漫”《一人之下》，誕生8年就突破300億點(diǎn)擊量。

△ 漫畫(huà)《異人之下》點(diǎn)擊量突破300億

電影《異人之下》所講述的僅僅是漫畫(huà)第一篇的內(nèi)容。

這一篇介紹了主角張楚嵐和馮寶寶的身世，異人世界的基礎(chǔ)設(shè)定以及江湖各路勢(shì)力。

由于這一篇章的故事包含了大量人物回憶，烏爾善導(dǎo)演創(chuàng)新性地在回憶段落使用了AI加持的真人摹片動(dòng)畫(huà)。

烏爾善為什么要用真人摹片動(dòng)畫(huà)？電影是怎么將AI與真人摹片動(dòng)畫(huà)結(jié)合的？這些動(dòng)畫(huà)在電影中發(fā)揮了怎樣的作用？這一技術(shù)在影視行業(yè)的應(yīng)用潛力如何？

今天這篇文章就給大家說(shuō)個(gè)明白。

1.在真人與動(dòng)畫(huà)之間：AI 助力創(chuàng)造2.5次元

《異人之下》電影中，張楚嵐被徐翔拉入自己的回憶，為他講述自己與馮寶寶半生的故事。此時(shí)，電影畫(huà)面由真人瞬間轉(zhuǎn)變?yōu)閯?dòng)畫(huà)。

據(jù)烏爾善介紹，片中十八分鐘的回憶片段不是常規(guī)的動(dòng)畫(huà)，而是劇組獨(dú)創(chuàng)的新技術(shù)。

《異人之下》劇組首次在院線電影制作中結(jié)合了真人摹片動(dòng)畫(huà)與AI技術(shù)，創(chuàng)造了“將演員真實(shí)表演二維風(fēng)格化”的獨(dú)特質(zhì)感。

那么，到底什么是“真人摹片動(dòng)畫(huà)”？

真人摹片動(dòng)畫(huà)是轉(zhuǎn)描動(dòng)畫(huà)的一種。轉(zhuǎn)描動(dòng)畫(huà)（Rotoscoping）是動(dòng)畫(huà)師以活動(dòng)影像作為模板進(jìn)行逐幀摹寫(xiě)再連成的動(dòng)畫(huà)，被描摹的影像可以是任何動(dòng)態(tài)事物；而真人摹片動(dòng)畫(huà)則是以真人活動(dòng)影像作為模板的轉(zhuǎn)描動(dòng)畫(huà)。

常規(guī)的真人摹片動(dòng)畫(huà)有兩個(gè)工作流程：真人實(shí)拍和手工摹寫(xiě)。

而電影《異人之下》中的AI真人摹片動(dòng)畫(huà)增加到了五個(gè)工序：真人實(shí)拍、關(guān)鍵幀摹片、動(dòng)態(tài)摹片、3D特效制作、2K轉(zhuǎn)4K。

△ AI真人摹片動(dòng)畫(huà)的五個(gè)工序

在真人實(shí)拍環(huán)節(jié)，演員在綠幕前完成表演。動(dòng)畫(huà)師隨后對(duì)拍攝素材進(jìn)行原畫(huà)摹片，為真人“刷上一層漫畫(huà)感”。

在“關(guān)鍵幀摹片”環(huán)節(jié)，動(dòng)畫(huà)師在原畫(huà)摹片基礎(chǔ)上增加背景、光影、色彩，使人物和場(chǎng)景合一。

在3D特效制作環(huán)節(jié)，劇組在傳統(tǒng)的轉(zhuǎn)描動(dòng)畫(huà)基礎(chǔ)上再用AI的方式生成一遍動(dòng)畫(huà)的部分，并進(jìn)行風(fēng)格遷移，讓動(dòng)畫(huà)更接近真人影像。

對(duì)于這次在真人電影插入動(dòng)畫(huà)的嘗試，并不是所有人都理解。

很多人疑問(wèn)：既然演員們都在，劇組還為只出現(xiàn)在回憶中的角色張錫林邀請(qǐng)了尚鐵龍這樣的老戲骨來(lái)演，為什么不能直接用真人拍回憶中的故事？

面對(duì)這些疑問(wèn)，烏爾善表示這種設(shè)計(jì)是因?yàn)橐陔娪爸袇^(qū)分回憶和現(xiàn)實(shí)，也是在向原作漫畫(huà)致敬，希望用全新的視覺(jué)方式讓原作粉在電影院里“重走回憶名場(chǎng)面”。

“動(dòng)畫(huà)部分最核心的事就是要讓觀眾一下子知道這是在致敬原漫畫(huà)”，烏爾善導(dǎo)演在動(dòng)畫(huà)測(cè)試會(huì)議上這樣強(qiáng)調(diào)。

△ 電影《異人之下》復(fù)刻漫畫(huà)名場(chǎng)面

雖然烏爾善導(dǎo)演不斷強(qiáng)調(diào)“向漫畫(huà)致敬“，似乎想吸引漫畫(huà)粉絲，但對(duì)于動(dòng)畫(huà)風(fēng)格的選擇又盡可能向大眾需求靠攏。

原著漫畫(huà)和改編動(dòng)畫(huà)都是2D畫(huà)風(fēng)，但為了讓沒(méi)看過(guò)漫畫(huà)的大眾能將真人演員和動(dòng)畫(huà)人物一一對(duì)應(yīng)，劇組選擇了轉(zhuǎn)描動(dòng)畫(huà)這一形式。

相較于手繪動(dòng)畫(huà)更大的自由度，轉(zhuǎn)描動(dòng)畫(huà)有著基于現(xiàn)實(shí)的表意風(fēng)格。

《異人之下》的18分鐘動(dòng)畫(huà)中的人物形象、神態(tài)與演員在電影中的表現(xiàn)高度一致。

此外，劇組使用AI對(duì)動(dòng)畫(huà)進(jìn)行的風(fēng)格遷移更是讓動(dòng)畫(huà)更加立體、更接近真人影像質(zhì)感。

雖然電影為新技術(shù)付出了巨大努力，但觀眾似乎并不太買(mǎi)賬。

《異人之下》漫畫(huà)中的回憶部分包括了很多具有情感沖擊力的情節(jié)，如張錫林臨終托孤幼孫、徐翔與馮寶寶的半生羈絆等。

在電影中，受到時(shí)長(zhǎng)限制，以及動(dòng)畫(huà)帶來(lái)的演員表演細(xì)節(jié)的流失，不少漫畫(huà)粉認(rèn)為電影“該感人的地方不感人”、“回憶部分看不進(jìn)去”。

有評(píng)論說(shuō)：“在電影院聽(tīng)到'黃楊扁擔(dān)'時(shí)已經(jīng)準(zhǔn)備開(kāi)哭了，結(jié)果看到AI的詭異畫(huà)風(fēng)，眼淚又生生憋回去了“。

對(duì)于沒(méi)看過(guò)原作的觀眾而言，動(dòng)畫(huà)的回憶雖然沒(méi)帶來(lái)理解障礙，但也沒(méi)帶來(lái)技術(shù)上的驚艷感，普遍認(rèn)為動(dòng)畫(huà)部分“像PPT”、“廉價(jià)”、“僵硬”。

對(duì)此，故事接龍StoryStorm AI內(nèi)容社區(qū)發(fā)起人、編劇宋東桓認(rèn)為有很多因素導(dǎo)致了觀眾對(duì)這一新技術(shù)的冷感。

首先，電影從拍攝到后期制作到上映有很長(zhǎng)一段周期，因此其采用的技術(shù)是有一定滯后性的。

AI一天，人間十年。雖然距離劇組完成后期可能不足一年，但在上映的今天再看到《異人之下》使用的AIGC技術(shù)，可能已經(jīng)有些許落后了......

另外，AIGC這種高速發(fā)展的技術(shù)得到了大量關(guān)注，人們對(duì)創(chuàng)作者的要求也在不斷升級(jí)。

今天人們可以在各種手機(jī)小程序上實(shí)現(xiàn)穩(wěn)定的“AI轉(zhuǎn)繪”操作，在電影院看到高度接近真人的動(dòng)畫(huà)就不會(huì)感到驚艷了。

2.AI+轉(zhuǎn)描動(dòng)畫(huà)=？

轉(zhuǎn)描（Rotoscoping）就是把拍攝的視頻用紙描下來(lái)再做成動(dòng)畫(huà)，由美國(guó)動(dòng)畫(huà)大師馬克思·弗雷歇爾（Max Fleischer）在1914年發(fā)明。

因?yàn)樵缙趧?dòng)畫(huà)技術(shù)的限制和追求真實(shí)感的理念，有大量的動(dòng)畫(huà)作品使用了這種方法。

△ 早期動(dòng)畫(huà)師在轉(zhuǎn)描機(jī)上制作動(dòng)畫(huà)

1937年，迪士尼推出了第一部動(dòng)畫(huà)電影《白雪公主》。為了生動(dòng)表現(xiàn)白雪公主跳舞的畫(huà)面，迪士尼聘請(qǐng)了女舞者錄制了影像供動(dòng)畫(huà)師參考。

△ 舞蹈演員影像與轉(zhuǎn)描后的動(dòng)畫(huà)

1941年中國(guó)也是亞洲的第一部動(dòng)畫(huà)長(zhǎng)片《鐵扇公主》同樣使用了轉(zhuǎn)描技術(shù)。

△ 《鐵扇公主》海報(bào)

隨著動(dòng)畫(huà)技術(shù)的不斷成熟，近年來(lái)轉(zhuǎn)描的使用逐漸變少，但沒(méi)有完全消失。

新世紀(jì)以來(lái)，《捷克列車(chē)員》、《半夢(mèng)半醒的人生》、《她真漂亮》等轉(zhuǎn)描動(dòng)畫(huà)都廣受好評(píng)。

△ 《捷克列車(chē)員》海報(bào)

過(guò)去一年多里，隨著AIGC不斷侵入各個(gè)領(lǐng)域，不少人開(kāi)始探索AI能不能用于轉(zhuǎn)描動(dòng)畫(huà)。

一直以來(lái)，轉(zhuǎn)描動(dòng)畫(huà)的優(yōu)點(diǎn)在于以相對(duì)低的成本讓動(dòng)畫(huà)師畫(huà)出流暢準(zhǔn)確、有真實(shí)感的動(dòng)作。

而轉(zhuǎn)描動(dòng)畫(huà)的缺點(diǎn)在于人物做動(dòng)作時(shí)色塊的位移和線條的“抖動(dòng)感”，以及有更多的細(xì)碎動(dòng)作。

當(dāng)人們?cè)囍肁I技術(shù)輔助制作轉(zhuǎn)描動(dòng)畫(huà)（被稱(chēng)為“AI轉(zhuǎn)繪”）時(shí)，這些缺點(diǎn)也依然存在。

2022年，一部名為《烏鴉》（The Crow）的兩分鐘動(dòng)畫(huà)短片就使用了AI轉(zhuǎn)繪技術(shù)。

原始素材中真人舞者穿著黑色長(zhǎng)裙翩翩起舞，經(jīng)過(guò)AIGC工具的轉(zhuǎn)繪后，舞者變成了一只躍動(dòng)的烏鴉。

這個(gè)短片在技術(shù)上沒(méi)有解決噪點(diǎn)閃爍的問(wèn)題，但這些技術(shù)缺陷反而為短片營(yíng)造出一種其荒誕詭譎的獨(dú)特氛圍，助力影片贏得了戛納電影節(jié)中短片競(jìng)賽單元的評(píng)審團(tuán)獎(jiǎng)。

同樣在2023年，Youtube著名特效頻道Corridor團(tuán)隊(duì)就使用AI繪圖軟件Stable Diffusion，以AI轉(zhuǎn)繪的方式創(chuàng)作了一部7分鐘短評(píng)《剪刀石頭布》，收獲了廣泛的好評(píng)，截至目前播放量已經(jīng)達(dá)到470萬(wàn)。

△ AI轉(zhuǎn)繪動(dòng)畫(huà)《剪刀石頭布》收獲超過(guò)400萬(wàn)的點(diǎn)擊量

從這個(gè)短片看，AI轉(zhuǎn)繪動(dòng)畫(huà)依然有光影不斷抖動(dòng)、人物動(dòng)作僵硬等問(wèn)題，但觀感上在可以接受的范圍內(nèi)。

很多國(guó)內(nèi)網(wǎng)友感嘆：“已經(jīng)比很多工期短又沒(méi)錢(qián)的動(dòng)畫(huà)工作室做得好了”。

2024年3月，介紹已故美國(guó)黑人歌手Jackie Shane的紀(jì)錄片Any Other Way: The Jackie Shane Story在西南偏南電影節(jié)公映，這部紀(jì)錄片大量使用了AI轉(zhuǎn)繪動(dòng)畫(huà)。

由于歌手生前影像資料的缺失，導(dǎo)演邀請(qǐng)了兩位演員扮演青年和老年的Jackie進(jìn)行真人拍攝，再訓(xùn)練Stable Diffusion對(duì)拍攝素材進(jìn)行轉(zhuǎn)繪。轉(zhuǎn)繪動(dòng)畫(huà)最終占據(jù)了紀(jì)錄片三分之一的時(shí)長(zhǎng)。

從預(yù)告片看，記錄片的轉(zhuǎn)繪動(dòng)畫(huà)抖動(dòng)明顯。不過(guò)動(dòng)畫(huà)的油畫(huà)質(zhì)感、根據(jù)歌手所處時(shí)代不斷變化的色彩濾鏡營(yíng)造了一種對(duì)逝去的神秘歌手的追憶氛圍。

△ 轉(zhuǎn)繪動(dòng)畫(huà)重現(xiàn)這位神秘歌手的生前風(fēng)采，又制造了復(fù)古緬懷氛圍

24年4月，在北京國(guó)際電影節(jié)“AIGC電影短片單元”競(jìng)賽中獲得最佳影片獎(jiǎng)的AI動(dòng)畫(huà)短片《致親愛(ài)的自己 To Dear Me》也用了AI轉(zhuǎn)繪技術(shù)。

短片中的人物有大量的大幅度動(dòng)作，但人物的細(xì)節(jié)樣貌以及關(guān)鍵道具蒲公英戒指都保持了高度的穩(wěn)定性。

△ 《致親愛(ài)的自己 To Dear Me》劇照

無(wú)論是用AI模型對(duì)真人摹片動(dòng)畫(huà)進(jìn)行渲染，“增加一層漫畫(huà)感”，還是用AI描圖軟件將視頻逐幀變?yōu)?D特定畫(huà)風(fēng)，在AI技術(shù)還不足以“獨(dú)立行走”的今天，AI已經(jīng)與傳統(tǒng)的動(dòng)畫(huà)技術(shù)碰撞出了很多有趣的火花，而且正在取得飛速的進(jìn)步。

3.未來(lái)已來(lái)？AI 轉(zhuǎn)繪動(dòng)畫(huà)的技術(shù)潛力

《異人之下》是國(guó)內(nèi)首部將轉(zhuǎn)描動(dòng)畫(huà)結(jié)合AI技術(shù)的院線電影。

那么，AI轉(zhuǎn)繪動(dòng)畫(huà)的發(fā)展?jié)摿θ绾?？?guó)內(nèi)的技術(shù)發(fā)展又處于什么階段？

對(duì)于這些問(wèn)題，宋東桓分享了自己的觀點(diǎn)。

宋東桓曾經(jīng)擔(dān)任第十四屆北影節(jié)AI短片單元初評(píng)評(píng)委，主辦與聯(lián)合發(fā)起過(guò)超過(guò)30場(chǎng)AI短片賽事節(jié)展。談到轉(zhuǎn)描動(dòng)畫(huà)，他認(rèn)為這種有百年歷史的技術(shù)今天依然有生命力，而AI轉(zhuǎn)繪大大提升了這項(xiàng)技術(shù)的執(zhí)行效率。

比如2019年Amazon Original的高分口碑劇《抹去重來(lái)》就使用了轉(zhuǎn)描技術(shù)，劇中有很多充滿想象力的轉(zhuǎn)場(chǎng)。

△ 電視劇《抹去重來(lái)Undone》海報(bào)

雖然《異人之下》是第一部使用AI轉(zhuǎn)繪動(dòng)畫(huà)的電影，但未來(lái)一定會(huì)有越來(lái)越多電影使用AI轉(zhuǎn)繪技術(shù)；這種技術(shù)可以用較低成本來(lái)實(shí)現(xiàn)較復(fù)雜的特效，用同一的動(dòng)畫(huà)風(fēng)格來(lái)代替實(shí)拍中要求較高的合成工作。

關(guān)于AI轉(zhuǎn)繪的發(fā)展?jié)摿?，宋東桓認(rèn)為目前AI技術(shù)處于高速發(fā)展中：

截止到今年年初，AI轉(zhuǎn)繪的標(biāo)準(zhǔn)還是“像”，但如今人們更看重神似而非形似的作品。

再下一步，AI轉(zhuǎn)繪的標(biāo)準(zhǔn)應(yīng)該是“無(wú)中生有”并且穩(wěn)定。一個(gè)框架綠幕，經(jīng)過(guò)轉(zhuǎn)繪可以變成城堡大門(mén)、水簾洞，而且細(xì)節(jié)又高度統(tǒng)一。

AI轉(zhuǎn)繪動(dòng)畫(huà)的另一個(gè)發(fā)展方向就是電影劇組使用3D模型+新一代AI手K，與真人拍攝摹片相結(jié)合來(lái)達(dá)成制作。

同樣的事情在20年前也發(fā)生過(guò)——當(dāng)沃卓斯基兄弟首次在《黑客帝國(guó)：重裝上陣》中使用3D生成的角色完成“Neo大戰(zhàn)100個(gè)史密斯”時(shí)，真人拍攝和3D動(dòng)畫(huà)就實(shí)現(xiàn)了非常有機(jī)的運(yùn)動(dòng)結(jié)合。

△ 《黑客帝國(guó)》中100個(gè)史密斯的經(jīng)典場(chǎng)景

去年夏天，烏爾善嘗試運(yùn)用多種現(xiàn)代電影技術(shù)去闡釋中國(guó)神話；

今年，烏爾善又一次成為“吃螃蟹的人”，首次在真人電影里大膽加入了不小篇幅的AI轉(zhuǎn)繪動(dòng)畫(huà)。

從大眾的反饋看，《異人之下》這次“打破次元壁”的嘗試不算完全成功。

但是，這次技術(shù)上的求新或許會(huì)未來(lái)更多國(guó)產(chǎn)真人電影和動(dòng)畫(huà)帶來(lái)靈感，技術(shù)的不斷積累也可能在未來(lái)帶給觀眾更大驚喜。

烏爾善導(dǎo)演一直用大投入的巨制影片推動(dòng)中國(guó)電影的工業(yè)化進(jìn)程，而其中積累下的寶貴經(jīng)驗(yàn)，也終將助力中國(guó)電影用科技講好中國(guó)故事。