編者按： 相信大家手機(jī)里或者生活中都有大量字節(jié)產(chǎn)品線的應(yīng)用，包括短視頻、直播、社交等一系列的音視頻應(yīng)用場景，包括大量的音視頻應(yīng)用產(chǎn)品。今天 LiveVideoStackCon 2022 音視頻技術(shù)大會 上海站邀請到了火山引擎智能互動特效解決方案總監(jiān)范青老師，為我們分享在字節(jié)內(nèi)部業(yè)務(wù)線和外部企業(yè)服務(wù)線里面，視頻云產(chǎn)品和視覺特效算法融合的最佳實(shí)踐以及在業(yè)務(wù)的落地環(huán)節(jié)中，字節(jié)在這些方面發(fā)現(xiàn)的一些創(chuàng)新點(diǎn)以及技術(shù)積累。

文 / 范青

整理 / LiveVideoStack

大家下午好，我是范青，我來自火山引擎的智能美化特效團(tuán)隊，今天由我來代表我們組來給大家進(jìn)行分享。

今天我分享的主題是《端云協(xié)同創(chuàng)新優(yōu)化音視頻場景用戶體驗(yàn)》。表面看上去音視頻場景、用戶體驗(yàn)這件事，與我們這個做特效的團(tuán)隊不是那么沾邊。那么為什么會由我來進(jìn)行這個分享呢？接下來給大家分享一個我親身經(jīng)歷。

1、分享親身經(jīng)歷，引入話題

我們字節(jié)有 To B 企業(yè)服務(wù)的品牌，有時會把我們自己覺得用得還不錯的各種組件提供給我們的企業(yè)客戶。企業(yè)客戶比較多的比如與音視頻相關(guān)的，像短視頻、直播行業(yè)之類的、拍照工具等，經(jīng)常有客戶和我說：“是不是自己使用了你們的美顏功能之后，就可以跟和抖音一樣，有非常好的拍攝體驗(yàn)，從而成為下一個抖音呢？”

我對這個問題思考了很長時間，最開始的時候大家可能都會覺得買個美顏就成抖音了這個想法有點(diǎn)奇怪。后來我仔細(xì)思考了客戶的想法，他認(rèn)為自己既然使用了服務(wù)，那自己是不是整個端到端的體驗(yàn)就應(yīng)該和我們對齊。

之后我發(fā)現(xiàn)，為什么大家對美顏寄予了很高期望，是因?yàn)榇蠹以谶M(jìn)行抖音拍攝或者直播瀏覽的時候，發(fā)現(xiàn)畫質(zhì)清晰度包括色彩、亮度等都很不錯。但是大家用的都是同樣的音視頻技術(shù)，為什么它的色彩會更好、畫質(zhì)會更清晰？為什么加入這些之后，人就變得更精神了？

有不了解的同學(xué)或許會認(rèn)為這個東西是美顏?zhàn)龅?。抖音美顏很?qiáng)，抖音加了美顏之后，它的畫質(zhì)就變好了。因此他們會把這件事歸結(jié)于只要用了抖音的美顏，就可以和抖音拍攝的一樣好。

所以為了解決這個問題，我深入內(nèi)部的業(yè)務(wù)線去討論我們到底在這個端到端的過程中做了哪些事情，使畫質(zhì)、特效整個疊加起來有了一個更好的觀看和拍攝體驗(yàn)。講完這些，大家應(yīng)該就能明白為什么由我來給大家分享這個用戶體驗(yàn)。

2、畫質(zhì)測評報告

我們從一份畫質(zhì)的測評報告開始闡述。畫質(zhì)測評報告是我們內(nèi)部的產(chǎn)品 —— 剪映，和競品做對比。大家知道我們有非常多的音視頻產(chǎn)品，和相機(jī)相關(guān)的，和視頻相關(guān)的。例如直播工具有抖音直播、短視頻工具有抖音短視頻、拍攝工具有輕顏、圖片編輯工具有醒圖、視頻編輯工具有剪映等。所有以畫面為介質(zhì)的產(chǎn)品，從生產(chǎn)到播放到消費(fèi)整個流程，我們都有不同的模塊和不同的產(chǎn)品。

作為一個視頻產(chǎn)品，我們編輯頁和拍攝頁有一個五邊形的維度，包括畫質(zhì)、亮度、色彩等都進(jìn)行了一些評估。之后以結(jié)果來主導(dǎo)我們每一次產(chǎn)品的優(yōu)化和迭代，包括拍攝的優(yōu)化迭代和編輯的優(yōu)化迭代。

該競品和剪映相比，在 iOS 端導(dǎo)出視頻和 Android 端導(dǎo)出視頻，在五角邊圖上有一個不同的得分，可以看到藍(lán)色的部分是剪映的得分，橙色的部分是某個競品的得分。推理得出兩個結(jié)論：一是 iOS 端視頻軟件 M 偽項表現(xiàn)不如剪映，存在色塊和過銳的問題；二是 Android 端剪映支持 2K/4K 的導(dǎo)出，但是視頻軟件 M 不支持導(dǎo)致清晰度明顯不如剪映。

接下來是我們自己內(nèi)部對于整個圖像的一個看法，從這個圖像的領(lǐng)域來看，我們的五邊圖由五部分組成：分辨率、位深、亮度、幀率和色域，這五個概念導(dǎo)致人眼在觀看視頻，無論是拍攝的時候，還是在看成片的時候，有不一樣的感官體驗(yàn)。接來下我們分別從各個維度來細(xì)說。

第一個是分辨率，代表圖像細(xì)節(jié)的精細(xì)程度。分辨率指的是圖像中的像素數(shù)量，在特定屏幕的尺寸下，分辨率越高，像素越多，顯示細(xì)節(jié)更精細(xì)。例如手機(jī)大多都支持看 4K 視頻，但是之前手機(jī)像素如果不支持高分辨率，即使有 4K/8Ks 視頻，也無法觀看。因此清晰度是人眼第一個感官，視頻的好壞程度與清晰度有著很大的關(guān)系。

第二個是位深，指的是色彩漸變的精細(xì)程度，位深的程度越大，可顯示的顏色越多，漸變會更平滑自然。人眼在觀察這個世界的時候，對每一個顏色的漸變非常敏銳。當(dāng)我們覺得看到顏色覺得很舒服的時候，就是因?yàn)檫@個顏色漸變色很自然的。當(dāng)我們看到一些照相機(jī)拍下來的圖像，有時候會覺得配色很奇怪，就是因?yàn)樗臐u變色不充足。有個笑話說五彩斑斕的黑實(shí)際上就是即使只有一種顏色，它也有很多的表達(dá)形式。當(dāng)我們在看天邊的彩霞的時候，會發(fā)現(xiàn)自己看到的和拍出來的差別很大，是因?yàn)槭謾C(jī)的顯示的像素包括位深和人眼感受到的是不一樣的。因此，如果軟件支持更高的位深，那么它顯示的圖片會更柔和，漸變更自然。

第三個是幀速率，也就是運(yùn)動的平滑速度。比如直播，如果幀速率低于 15FPS 以下，視頻就明顯有卡頓感。當(dāng)達(dá)到了 24 幀率及以上時，視頻會相對流暢。例如電視節(jié)目使用 30FPS，高幀電影使用 60FPS，就會讓我們感覺動作和動作之間的銜接很自然的。幀率越小，動作越卡頓。

第四個是色域，是色彩的生動程度，指的是可以顯色的所有顏色的范圍。范圍越廣，視頻越可以還原人眼感知的真實(shí)的 RGB 值的范圍，相當(dāng)于我們?nèi)搜勰軌蚋惺艿降念伾姆N類。在這種情況下，如果我們看到的顏色種類較少，圖像也會不自然。

最后一個是亮度，指的是圖像照明強(qiáng)度的范圍。比如 HDR 用來提升亮度，使人擁有更好的一個感官，更接近裸眼的感知。

我們的產(chǎn)品為了提升真正的用戶的體驗(yàn)，就是在這個五個方向不斷努力。包括自適應(yīng)銳化、HDR、SDR、防抖、降噪等都是為了去提升人眼的感官，去還原人眼看到的更真實(shí)自然的觸感。

剛才有提到測試報告，那測試報告是如何產(chǎn)生的呢？首先，我們有主觀測評和客觀測評。主觀評測流程分為專家測評、專業(yè)小組測評、用戶眾測、上線 AB 實(shí)驗(yàn)。也可以由我們的眾測平臺去進(jìn)行任務(wù)分發(fā)。上線 AB 實(shí)驗(yàn)之后，會觀察效果，如果正向顯著，我們就會逐步放量；如果正向不顯著，我們會重新打磨，再考慮是否上線，最終開放全量。

整個流程得益于內(nèi)部數(shù)據(jù)平臺，幾乎我們所有的內(nèi)部平臺都會和數(shù)據(jù) AB test 平臺打通。例如做特效的平臺和 AB test 平臺就有非常大的關(guān)系，即使是一個小小的美顏上線之前也會做一個全量 AB test。比如說我們會先小部分測試某區(qū)域女性用戶對這個事情的一個感官，然后再去測用戶屬性，最后將對照組和實(shí)驗(yàn)組進(jìn)行感官。所以字節(jié)會在每一個環(huán)節(jié)里，即使是很小的功能都會進(jìn)行 AB test。

主觀方向的專家有來自于這個手機(jī)廠商，硬件廠商，或是視頻類公司；專業(yè)測評小組會有考核體系，比如 GSB（good、same、bad）或別的輔助測評工具色卡、刻度尺等幫助對顏色不太敏感的部分人群，去對比是否還原了真實(shí)色調(diào)。用戶眾測以及主觀測評方面，我們擁有一個 200 多平米的大實(shí)驗(yàn)室，有光照和測量的儀器，去幫助用戶體驗(yàn)數(shù)碼圖片。

在客觀方向，我們有 24 色卡分析、防抖客觀工具、常用工具集。提升評測效率方面有燈源自動控制，拍攝文件自動重命名，主觀效果客觀化的一些模型打分。

因此在對待畫質(zhì)的每一方面，我們都非常認(rèn)真的去對待，希望用戶在最后使用時能對這個產(chǎn)品有更好的認(rèn)同度。

3、畫質(zhì)優(yōu)化的價值

那么我們在畫質(zhì)方面做的努力對用戶有什么真實(shí)收益呢？這也是我們 AB test 中的一個小實(shí)驗(yàn)，從清晰度這個小的維度出發(fā)。實(shí)驗(yàn)組去掉了 1080P 和 720P 的視頻放出，對照組保留 1080P 和 720P，對比發(fā)現(xiàn)了清晰度更低的一組用戶播放時長損失了 0.47%。0.47% 表面看起來不高，但實(shí)際上關(guān)系著后續(xù)的播放、留存、商業(yè)化等諸多因素，到最后可能關(guān)系到幾個億的小生意。在這樣的一個 AB test 下，它被標(biāo)注是一個紅圈，是一個顯著的表達(dá)。在這個變量下，造成了很大的用戶影響。

4、手機(jī)端全流程圖像體驗(yàn)升級

剛才提到很多 “好” 是什么，那么我們怎么才能做到 “好”，在內(nèi)部的流程會略顯復(fù)雜。這件事就是通過端云共同完成的，只有云不行，只有端也不行，那云和端分別有什么作用呢？現(xiàn)在有生產(chǎn)端、服務(wù)端、消費(fèi)端，在不同的業(yè)務(wù)里分別代表不同的方面。比如說在直播業(yè)務(wù)里生產(chǎn)端就代表著直播的軟件，例如抖音或直播助手等。服務(wù)端指的是云上的這些服務(wù)器比如轉(zhuǎn)碼、分發(fā)。

在這樣的不同的端我們有不同的模塊組件做不同的工作。最一開始的東西叫做 VE_SDK，它有什么用呢？包括 Camera 采集、編解解碼參數(shù)和算法增強(qiáng)。例如一個視頻，最重要就是在采集時就要采集優(yōu)良的視頻，否則后期再如何加工，都屬于二次加工。那在采集時，采集參數(shù)會影響畫質(zhì)的質(zhì)量。玩攝影的小伙伴可能會了解到 ISO 和白平衡這兩個概念，它們在使用接口時就已經(jīng)可以配置了。之前有一個客戶認(rèn)為抖音通過加入一個高級算法使畫面更加鮮艷，其實(shí)就是采集視頻時，調(diào)了一點(diǎn)亮度和白平衡，不是 AI 算法。

VE_SDK 這個模塊的 camera 采集，抖音在這里做了一些工作。大家都知道蘋果手機(jī)品控穩(wěn)定，但是安卓產(chǎn)品的攝像頭比較多樣、很難統(tǒng)一。那么做這個大量的適配工作有沒有意義呢？是有意義的，每個攝像頭如果你都給他去設(shè)定不同的參數(shù)時，大概率是會對這個畫面是更好的。那做這樣的一件事情，其實(shí)是很耗費(fèi)人力的，需要有一個系統(tǒng)化的機(jī)制去控制整個流程。所以適配工作非常有用，雖然有點(diǎn)繁瑣。我知道國內(nèi)的安卓廠商，現(xiàn)在心態(tài)越來越開放，例如 OPPO 就開放了一些底層的相機(jī)接口，將防抖、HDR 等供給了第三方開發(fā)者。我們會發(fā)現(xiàn)高級相機(jī)拍出來的畫質(zhì)，以及防抖效果非常好?？赡苓@一類的廠商近兩年會以一個更開放的心態(tài)，把這些底層的接口供給第三方廠商使用。內(nèi)部產(chǎn)品其實(shí)原來有和一些第三方廠商合作，廠商會提供一些特殊的采集 SDK，這樣我們就擁有和系統(tǒng)相機(jī)一樣的畫質(zhì)權(quán)限，很大幅度的提升了拍照預(yù)覽的情況。

采集到的視頻，調(diào)好白平衡、曝光、亮度，以及加入算法、夜景、防抖之后我們會進(jìn)行第二步 ——effect_SDK 模塊。在特效里邊可能有非常多的類型，比如美顏濾鏡和常見的包括 2D、3D、互動、AR，大場景、商品試穿試戴之類的。里邊包括的 AI 算法、渲染引擎、新的玩法，國外做的最好的就是 Snapchat , 國內(nèi)做的不錯的可能就是抖音和快手。通過做這些東西，用戶增強(qiáng)了拍攝體驗(yàn)，可以更快的產(chǎn)生 UGC 內(nèi)容，使 DAU 觀看率更高。堅持拍視頻，留存也會更高了。因此，使用一些特效或一些互動玩法促進(jìn)用戶開播，促進(jìn)用戶變成生產(chǎn)者，是提升產(chǎn)品 DAU 和提升產(chǎn)品留存一個非常有效的手段。

話說回來，那這個部分我們做了什么？我們要做到的就是減少損害更多的畫質(zhì)。比如說美顏的濾鏡、磨皮都會損害畫質(zhì)，因?yàn)槟テぴ谑鼓樕系蔫Υ蔑@得更平滑的同時把一些其他的邊緣細(xì)節(jié)也掩蓋了邊緣細(xì)節(jié)比如皮膚的肌理等。在這種情況下，特效除了好玩和好看之外，還有一個重要任務(wù)就是要保證畫質(zhì)不受到更多的損害。尤其是相機(jī)廠商對此事非常敏感，有的用戶為了更真實(shí)的拍照體驗(yàn)不惜花費(fèi)重金，最后效果如果被美顏功能擾亂了，那用戶必然不會買單。所以，特效美顏的重要任務(wù)就是減少畫質(zhì)損害。那算法增強(qiáng)是什么？算法增強(qiáng)就是剛才提到的如超分銳化之類的，在這個環(huán)節(jié)已經(jīng)可以開始布局了。

VE_SDK 和 Effect_SDK 這兩個模塊在字節(jié)內(nèi)部是有一些中間模塊使其連接的，在這里不做詳細(xì)介紹。在端上生產(chǎn)端做了這兩件事情之后，我們來到云端服務(wù)器端。服務(wù)器有什么？有編解碼算法、圖像增強(qiáng)算法、視頻參數(shù)等。比如配置碼率，配置幀率，不同地區(qū)的距離、CDN 分發(fā)之類的東西，在畫面在無損的情況下，壓縮的越多，越節(jié)省帶寬。

我們有一個圖片的服務(wù)可以使圖片壓縮 80%、節(jié)省帶寬 80% 的情況下，達(dá)到畫質(zhì)無損，可以降低運(yùn)營成本。所以無損畫質(zhì)的極致壓縮也是一個很重要的環(huán)節(jié)。到了分發(fā)端，我們有轉(zhuǎn)碼策略、下發(fā)策略和播放策略。端上的播放器也很重要，編碼之后，當(dāng)然需要解碼。

生產(chǎn)端播放視頻的播放器要有相應(yīng)的配備。以及消費(fèi)端在觀看的時候需要做 HDR 或超分。觀看視頻時，如果視頻沒有拍好，但是分發(fā)時在端上又做了一些別的工作，極有可能會節(jié)省了云端的帶寬。把何種功能放在端上或是云端上是由不斷的實(shí)驗(yàn)得出來的。有些模型很大，甚至不能把放在端上，但是它的效果又特別好，這時候我們就會做一個比較。比如說一個效果優(yōu)先，一個性能優(yōu)先，需要性能優(yōu)先的就會進(jìn)行更極致的壓縮即使損害了一些效果，這些大概率都是要做實(shí)時的。舉一個最簡單的例子，美顏可以做在云端，那為什么不把它放在云端呢？是因?yàn)槊李佇枰_(dá)到用戶實(shí)時預(yù)覽的效果，如果放在云端就不能達(dá)到用戶實(shí)時預(yù)覽了，因此一定要放在端上。例如人臉?biāo)惴ǖ臉O致壓縮，我們做了一些在端上推理加速的引擎，都是為了能讓用戶實(shí)時體驗(yàn)。

很注重效果的東西一定要放在云端，舉一個簡單的例子。老視頻是存量視頻，老視頻修復(fù)是為了視頻有極致的體驗(yàn)，此時擁有實(shí)時體驗(yàn)效果就不是最重要的。視頻之前是 720P 的，為了達(dá)到 4K，要進(jìn)行畫質(zhì)修復(fù)和分辨率提升，那一定是效果最重要，所以這個要放在云端。因此，平衡效果和平衡性能決定了功能放在云上還是端上。

5、生產(chǎn)端 - 畫質(zhì)相關(guān)

接下來我們看看實(shí)際應(yīng)用效果。首先我們做了視頻超分，即在不損失畫質(zhì)的前提下要提升像素。比如一個 1080P 的視頻，為了能在 4K 的顯示屏上去看，它被拉大了。如果用傳統(tǒng)的插值算法去進(jìn)行拉伸的話，畫面邊緣會有很多馬賽克。但是如果采用智能的超分算法，就可以使畫面邊緣更加平滑，觀看體驗(yàn)更好。

那抖音是怎么做的呢？首先它使用了這個超分的效果在觀看端落地。比如主播拍了 720P 的視頻，用戶在端上觀看的時候選擇 1080P。在效果上就是用戶看到了清晰度更高的視頻，也節(jié)省了一部分帶寬。那如果原視頻想使用 1080P 呢，那就得錄視頻時就采用 1080P，這是某種意義上的窄帶高清。

還有一個更重要的前提就是如果選擇在端上做，一定要保持足夠的覆蓋率。大家都知道，安卓的下沉市場很多，一千五百塊錢左右的機(jī)型比大家想象中的更多。我們平常用旗艦機(jī)大概兩三千塊錢很正常，iPhone 也就五六千塊錢，但實(shí)際上真正的星辰大海是在安卓機(jī)的下沉市場。在這樣的情況下，要達(dá)到一個非常高的覆蓋率很難?，F(xiàn)在主流的芯片可能就是 MTK 和高通，包括高通 450 這些下沉機(jī)型，我們也會努力去覆蓋。目前這些算法可以覆蓋到高通 660 以上的機(jī)型，iOS 可以覆蓋到 iPhone7 及以上的機(jī)型，這個范圍是我們認(rèn)為一個算法能在端上給這個主端帶來更大收益的一個算法。

那下一步是什么？是更下沉的安卓機(jī)，或是其他設(shè)備。比如車機(jī)、智能的 IOT 設(shè)備更是星辰大海，所以我們要做更好的適配。包括新型的 NPU，把一些耗費(fèi) CPU 的算法移植到 NPU 上，讓更大的模型、更好的效果在這樣的一個新的硬件設(shè)備上發(fā)光發(fā)熱。

第二塊還是之前提到的 VE_SDK 部分，VE_SDK 或者 Effect _SDK 研發(fā) HDR，使畫面更亮。當(dāng)然如果從采集的時候，事先調(diào)好合適的曝光也能達(dá)成這種效果。那它解決了什么問題呢？它解決的是視頻內(nèi)容里的欠曝、過曝和偏色問題。偏色是由白平衡造成，有可能白平衡沒調(diào)好。白平衡是它和白的對比度，如果白不是真正的白，那么其他的顏色也不是真正的其他顏色。當(dāng)你通過對 HDR 的一些校正還原了真正的白色，就可以使這個畫面就變得更好?，F(xiàn)在我們將 HDR 應(yīng)用在了抖音主站的編輯上，就是打開抖音編輯里有這樣的一個算法?，F(xiàn)在在 iPhone7 可以達(dá)到一幀五毫秒的速度。補(bǔ)充一個小的 tips，什么樣才叫實(shí)時處理呢？一幀大概要處理多長時間才能讓 30FPS 滿足呢？答案是 33 毫秒，在三十多毫秒內(nèi)所有的效果，包括什么編解碼、渲染、畫質(zhì)增強(qiáng)等。如果 30 多毫秒處理不完，那就無法達(dá)到 30FPS，所以這種算法必須是個位數(shù)。

下一個算法是視頻降噪，降噪是在手機(jī)端針對不同的攝像頭、不同噪聲結(jié)果的視頻生成的噪點(diǎn)，對噪點(diǎn)和細(xì)節(jié)進(jìn)行平衡。在種情況下，噪點(diǎn)降低會使畫面更糊，其他清晰的地方就會受到影響。就如這些邊角都需要有一個清晰的邊界，如果噪點(diǎn)降低，它就會變得有點(diǎn)模糊，分界線就不清晰了。所以噪點(diǎn)某種意義上代表著銳化程度，有的時候想讓夜色更清晰一點(diǎn)，開了很高的銳化，實(shí)際上會發(fā)現(xiàn)噪點(diǎn)就多了，這是一個平衡的狀態(tài)。

針對這種情況，我們做了視頻智能降噪，即使在夜晚也有更好的降噪體驗(yàn)。例如直播行業(yè)，有些主播在直播時，周圍環(huán)境較暗時，會選擇開一盞燈，在兩側(cè)打光或加一個背光使亮度更加明顯的，畫質(zhì)更加清晰。是否打光關(guān)系到室內(nèi)亮度，室內(nèi)特別亮?xí)r，畫面就會更好。正常人的眼睛在黑暗中適應(yīng)一段時間之后就能看清楚，但是攝像機(jī)不同，攝像機(jī)只能記錄當(dāng)時的場景，暗度越低，攝像機(jī)就越吸收越少的光，圖片就顯得越不清楚。所以補(bǔ)光很重要，視頻降噪功能通過觀察噪點(diǎn)的位置消除噪點(diǎn)，而且在夜晚，顯示畫面的質(zhì)量會更高。

剛才提到的算法不會疊加到一起，一定會有適配功能。比如說到了夜晚，手機(jī)自動開啟 HDR。如果環(huán)境不是很黑，功能就不會打開。那這些下發(fā)策略，其實(shí)剛才說到的系統(tǒng)架構(gòu)，就是對不同的地區(qū)和時間，對不同機(jī)型的承載能力，都會有一些更好的表現(xiàn)。

6、播放端 - 畫質(zhì)相關(guān)

畫質(zhì)這里要提到的是播放端的銳化。我們可以看到有這樣的效果，能讓拍攝端、編輯端有更好的觀感體驗(yàn)。銳化不能提升分辨率，只是讓我們的感官有更好的效果。

接下來介紹插幀算法，插幀是運(yùn)動的順滑程度，是通過幀率來實(shí)現(xiàn)的。經(jīng)過了插幀之后，畫面會更加流暢。插幀有非常多的用處，除了在幀率低的短視頻下進(jìn)行一個修復(fù)之外，還有比如說慢動作防止卡頓。手機(jī)可以拍慢動作，但是一般相機(jī)不可以，是因?yàn)榭赡軙纬煽D。兩秒鐘視頻在視頻編輯軟件里拉到八秒鐘之后，視頻就會變得卡頓，有 PPT 即視感。做了插幀之后，就能讓畫面更為順滑。

剛才提到的分別是一些離散的部分，將其串起來能變成一個端到端進(jìn)行服務(wù)體驗(yàn)提升的流程。字節(jié)跳動提供了一整套智能終端畫質(zhì)增強(qiáng)方案，包括智能分析和畫質(zhì)增強(qiáng)，包括拍攝控制、畫質(zhì)增強(qiáng)和自動美化等，里面每一個小模塊都可以自行管理。

7、生產(chǎn)端 - 特色功能

圖像分割算法在短視頻、直播、視頻會議都有應(yīng)用，展開之后又有很多細(xì)節(jié)和不一樣的地方，有不一樣的效果和不一樣的性能，每一個細(xì)節(jié)都是非常多的工作才能做成的，包括端上的一些美化，特效，拍創(chuàng)作等。

針對不一樣的地區(qū)，我們的美顏、特效都做了非常多的工作，讓這個地區(qū)更喜歡我們的玩法。不止是短視頻直播場景，我們在健身、電商等都有相應(yīng)的方案。

在端上，除了畫面上的功能，我們在音質(zhì)處理上也做了一些努力。圖像有自己的評價標(biāo)準(zhǔn)，視頻音量也有，關(guān)于聲音方面的也有噪聲、不清晰、失真、聲音小等問題。

我們通過做了一些工作優(yōu)化這些方面，包括端上的玩法，比如 K 歌的玩法、打分、歌詞對齊等都做了一些小組件。包括聲音延遲，抖音共同觀看功能需要兩邊同時看，如果我這邊播放到第三秒他那邊第五秒就會很奇怪。

8、如何保證端到端的體驗(yàn)

字節(jié)音視頻服務(wù)里有云服務(wù)，有客戶端套件，有應(yīng)用場景。在線音視頻、社交娛樂、游戲互動、在線教育里都有各自的一些不同的應(yīng)用，客戶端套件以及之前提到的端到端套件，也可以對外提供技術(shù)服務(wù)。我們都有自己的 Demo、場景化 Demo、以及各種各樣的服務(wù)配套。

我所在的 AI 組做的功能也非常多，也擁有自己的生態(tài)，外部的設(shè)計師、內(nèi)部的設(shè)計師加起來共幾萬個人。商城上面有 7 萬個貼紙，現(xiàn)在一個星期我們生產(chǎn) 1000 個貼紙，使所有的東西都最具有時效性，讓大家在最低的成本下得到這個新的效果。

今天的分享到這里就結(jié)束了，謝謝大家。