智東西

以下文章來源于加智 ，作者智東西公開課

加智

導(dǎo)讀：

12月12日，「智東西公開課」策劃推出計(jì)算機(jī)視覺應(yīng)用系列課第8講，主題為《利用自動(dòng)內(nèi)容識別技術(shù)ACR實(shí)現(xiàn)精準(zhǔn)電視廣告投放》，由酷云互動(dòng)合伙人&CTO陸承恩主講。

在本次講解中，陸承恩老師從電視大屏廣告投放的演進(jìn)歷程開始講解，針對實(shí)現(xiàn)精準(zhǔn)電視廣告投放的四大挑戰(zhàn)提出了基于自動(dòng)內(nèi)容識別技術(shù)ACR的解決辦法，并對自動(dòng)內(nèi)容識別技術(shù)ACR的算法設(shè)計(jì)進(jìn)行深度剖析，結(jié)合實(shí)際應(yīng)用案例給我們帶來了系統(tǒng)的講解。

本文為此次公開課的完整實(shí)錄。

大家好，我是酷云互動(dòng)陸承恩，很高興今天有機(jī)會(huì)在智東西公開課跟大家分享。我今天分享的主題是《利用自動(dòng)內(nèi)容識別技術(shù)ACR實(shí)現(xiàn)精準(zhǔn)電視廣告投放》，我將從以下4個(gè)部分來為大家分享：

1、 電視大屏廣告的演進(jìn)之路

2、 實(shí)現(xiàn)精準(zhǔn)電視廣告投放的挑戰(zhàn)與解決辦法

3、 自動(dòng)內(nèi)容識別技術(shù)ACR算法設(shè)計(jì)

4、 基于ACR的精準(zhǔn)廣告平臺架構(gòu)解析與應(yīng)用

電視大屏廣告的演進(jìn)之路

首先，看一下電視大屏廣告的演進(jìn)之路，我把它總結(jié)成5個(gè)階段：

（1） 非智能電視

我們幾年前看到的電視，不管是液晶屏的還是顯像管其實(shí)就是一個(gè)顯示器，既不能連網(wǎng)也一點(diǎn)都不智能。主要的作用就是用來收看電視節(jié)目，這里面的廣告以硬廣為主。

（2） 智能電視

從2014年開始非智能電視已經(jīng)基本停產(chǎn)，誕生了智能電視，目前的智能電視主要基于安卓系統(tǒng)。智能電視中比較多的是開機(jī)廣告，因?yàn)樵谙到y(tǒng)啟動(dòng)之前會(huì)有一定的時(shí)間，很多廠商會(huì)在這個(gè)時(shí)間段去插播開機(jī)廣告。智能電視初期階段電視機(jī)本身其實(shí)沒有任何所謂的用戶畫像，特別是一些傳統(tǒng)的廠商，他們不會(huì)去做這樣的事情。但是一些互聯(lián)網(wǎng)形態(tài)的終端廠商，比如小米會(huì)嘗試去做。

（3） 精準(zhǔn)廣告

隨著互聯(lián)網(wǎng)發(fā)展出現(xiàn)了精準(zhǔn)廣告，精準(zhǔn)廣告其實(shí)就是千人千面，對于智能電視的精準(zhǔn)廣告而言，不一樣的地方在于電視具有家庭屬性，家庭數(shù)據(jù)會(huì)放到DMP（數(shù)據(jù)管理平臺）里面。在做廣告投放時(shí)，首先從DMP里圈選出廣告主需要的人群，然后針對具體的人群做投放。但是電視本身是一座數(shù)據(jù)孤島。數(shù)字化伴隨著互聯(lián)網(wǎng)而生，尤其是移動(dòng)互聯(lián)網(wǎng)擁有海量的數(shù)據(jù)，比如像BAT、TMD等這些巨頭在互聯(lián)網(wǎng)領(lǐng)域生根。但是電視難以數(shù)字化，數(shù)據(jù)來源困難。電視本身也沒有像手機(jī)和人那樣的緊密關(guān)聯(lián)，它只是一個(gè)松耦合關(guān)系，所以在構(gòu)建DMP的時(shí)候是非常困難的。當(dāng)然目前也有廠商在做這個(gè)事情，有的是基于自己的DMP平臺，我們也在不斷幫廠商去構(gòu)建自己的DMP平臺。

（4） 基于ACR(Automatic Content Recognition)技術(shù)的增強(qiáng)電視廣告

通過ACR技術(shù)識別電視或者說大屏里面的內(nèi)容，將內(nèi)容進(jìn)行數(shù)字化，然后就可以把內(nèi)容和廣告關(guān)聯(lián)起來，如果要投放的廣告和某個(gè)明星相關(guān)我們就在明星在大屏中出現(xiàn)的時(shí)候投放廣告；如果是一個(gè)場景，就要在場景出來的時(shí)候投放廣告，這個(gè)都可以通過ACR技術(shù)來實(shí)現(xiàn)。

實(shí)現(xiàn)基于LBS的投放：因?yàn)殡娨暀C(jī)本身是比較固定的，不會(huì)像手機(jī)一樣可以隨意移動(dòng)，那么它就有一個(gè)LBS屬性，即位置屬性。

酷云輕應(yīng)用平臺：這個(gè)有點(diǎn)類似于微信小程序，基于我們的ACR技術(shù)做了數(shù)字化之后，把技術(shù)和數(shù)字化能力開放出來，去應(yīng)用于更多的需要在大屏幕上和人產(chǎn)生關(guān)聯(lián)的一些服務(wù)，比如在大屏上放置點(diǎn)餐、天氣等，這些可以通過酷云的應(yīng)用平臺來做，同時(shí)也可以通過這個(gè)平臺推送和用戶、內(nèi)容相關(guān)的廣告。

（5）廣告閉環(huán)效果評估

在移動(dòng)互聯(lián)網(wǎng)和互聯(lián)網(wǎng)中，這個(gè)效果一般都是通過點(diǎn)擊的行為產(chǎn)生，但是在大屏上面是完全不一樣的，因?yàn)樵诖笃辽洗蠹乙杂^看為主，很少會(huì)有點(diǎn)擊的行為，而且電視廣告曝光數(shù)據(jù)也難以采集。但廣告主一定會(huì)關(guān)心廣告投放的效果。這個(gè)事情以前是很難做評估的， ACR技術(shù)便可以解決這個(gè)難題。

實(shí)現(xiàn)精準(zhǔn)電視廣告投放的挑戰(zhàn)與解決辦法

要實(shí)現(xiàn)精準(zhǔn)的電視廣告投放，我們面臨著4個(gè)難題：

（1）信號采集

即便是在目前的智能電視時(shí)代，電視其實(shí)很多時(shí)候也只是一塊屏幕，電視接收到的信號主要是圖像信號和聲音信號。信號的采集可能需要用到一些AI技術(shù)，例如圖像處理、計(jì)算機(jī)視覺、語音處理和語音識別等技術(shù)；

（2）內(nèi)容的理解與分析

首先，因?yàn)閳D像本身是一個(gè)實(shí)時(shí)的視頻畫面，面對這種實(shí)時(shí)的視頻畫面去做分析和離線狀態(tài)做分析是完全不一樣的，它需要的計(jì)算量和實(shí)時(shí)處理的要求也不一樣。其次，因?yàn)槁曇艉蛨D像都是非結(jié)構(gòu)化數(shù)據(jù)，數(shù)據(jù)采集后要能夠在DMP廣告平臺里面使用，就要把非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行結(jié)構(gòu)化處理。最后，計(jì)算資源有限，比如酷云覆蓋幾千萬臺終端，每一塊屏幕都在不停的產(chǎn)生數(shù)據(jù)，都要進(jìn)行計(jì)算。這種計(jì)算資源需要的計(jì)算量是巨大的，不可能在云端完成所有工作，也不可能都放在終端來完成，因?yàn)橛?jì)算資源有限。

這里還有一點(diǎn)，不同屏幕之間只是一座座孤島，大屏和小屏之間、大屏和人之間也很難關(guān)聯(lián)，所以在構(gòu)建用戶行為畫像時(shí)是非常困難的，把用戶在其他場景上的行為和大屏聯(lián)系起來是我們需要解決的問題；

（3）廣告信息輸出

結(jié)合實(shí)時(shí)的內(nèi)容實(shí)現(xiàn)精準(zhǔn)廣告的觸達(dá)，這需要我們對場景、內(nèi)容本身有實(shí)時(shí)的識別能力，同時(shí)也要非常迅速從我們的廣告平臺把廣告下發(fā)出去，來產(chǎn)生比較好的體驗(yàn)，因此實(shí)時(shí)性是非常重要的；

（4）效果的閉環(huán)評估

因?yàn)榇笃翉V告一般沒有點(diǎn)擊行為，如何評價(jià)廣告效果很困難，但是這件事情又特別的重要，通過ACR技術(shù)，把投放的過程數(shù)字化記錄之后，可以嘗試去解決這個(gè)問題。

我們利用ACR技術(shù)來解決上面遇到的問題，ACR主要做兩件事情，第一是精準(zhǔn)實(shí)時(shí)的大屏內(nèi)容分析，簡而言之就是把大屏上的畫面和聲音分析出來，讓計(jì)算機(jī)能夠理解和記錄用戶在大屏上的行為；第二是連接人和大屏，我們不僅要知道大屏里面的內(nèi)容，還將觀眾與大屏關(guān)聯(lián)起來。

ACR解決了4個(gè)W：什么時(shí)候、什么人看了這個(gè)屏幕？里面發(fā)生什么事情？精準(zhǔn)的地點(diǎn)在哪里？（地點(diǎn)具體到經(jīng)緯度，經(jīng)緯度本身有具體的屬性。）

我們通過ACR延伸了幾項(xiàng)服務(wù)：

（1）酷云TV Ad：即大屏精準(zhǔn)廣告平臺，基于10億+用戶數(shù)據(jù)，廣告主在大屏上將獲得與互聯(lián)網(wǎng)一樣的投放能力。支持按人或家庭進(jìn)行精準(zhǔn)投放，以及多種創(chuàng)新的廣告形式，讓酷云TV Ad具備了高轉(zhuǎn)化、強(qiáng)曝光的特點(diǎn)

（2）酷云DMP：以家庭數(shù)據(jù)為核心的數(shù)據(jù)管理平臺，基于跨屏關(guān)聯(lián)技術(shù)，將10億+用戶家內(nèi)外數(shù)據(jù)全場景打通，為企業(yè)、代理公司、媒體提供實(shí)時(shí)精準(zhǔn)的定向策略與洞察服務(wù)。支持自動(dòng)化對接程序化廣告、第三方DMP以及其他流量平臺。

（3）酷云EYE Grow：全媒體營銷決策平臺，為企業(yè)、代理公司、媒體提供全媒體營銷決策方案?；陔娨暋敉?、互聯(lián)網(wǎng)媒體的跨屏同源數(shù)據(jù)，打通企業(yè)后鏈路數(shù)據(jù)，提供投前策略計(jì)劃、投中優(yōu)化監(jiān)測、投后效果評估的一體化營銷閉環(huán)產(chǎn)品。

自動(dòng)內(nèi)容識別技術(shù)ACR算法設(shè)計(jì)

ACR服務(wù)分為云端框架和客戶端框架。因?yàn)锳CR不可能只在云端或客戶端運(yùn)行，需要二者結(jié)合。

首先，在云端我們做了大量的數(shù)據(jù)采集工作，比如在北京會(huì)有有線信號直接接到我們的機(jī)房里，然后通過衛(wèi)星信號轉(zhuǎn)發(fā)出來再進(jìn)入到計(jì)算服務(wù)器里，對這個(gè)信號進(jìn)行實(shí)時(shí)的分析，同時(shí)也會(huì)抓取一些網(wǎng)絡(luò)的視頻，進(jìn)行圖像和聲音的提取，通過字幕識別、廣告識別、商品識別、視頻分段、精準(zhǔn)EPG、語音識別、聽音識別、時(shí)延檢測、聲紋ACR等把圖像數(shù)據(jù)進(jìn)行數(shù)字化，然后做進(jìn)一步的抽象化。

酷云背后有個(gè)AI Center，分別為：K-EYE、K-EAR、K-NOSE、K-BRAIN。

可以看到這是一擬人化的過程，用戶所見即算法所見，K-EYE指在大屏觀看到了什么圖像，K-EAR指在大屏里聽到什么聲音；K-NOSE是一個(gè)嗅探，就是像小狗一樣去聞，嗅覺敏銳，這里”聞”是指我們要把用戶和大屏的內(nèi)容關(guān)聯(lián)起來，關(guān)聯(lián)上之后產(chǎn)生一個(gè)ID，這個(gè)ID在大屏和小屏都是通用的，這樣就可以把信息的孤島打通了，能把大屏和小屏的整個(gè)用戶行為和所有的時(shí)間點(diǎn)串連在一起，就產(chǎn)生了大數(shù)據(jù)的巨大價(jià)值；K-BRAIN是指我們每天有千萬量級的終端，在數(shù)據(jù)采集上來之后要做大量分析工作，后面要做數(shù)據(jù)挖掘、用戶畫像分析等。

這個(gè)擬人化的技術(shù)是非常重要的，比如廣告主在投放廣告時(shí)，如果想知道這個(gè)廣告有沒有投放出去，一般會(huì)通過第三方的監(jiān)測公司去監(jiān)測。監(jiān)測公司一般是利用廣告回傳鏈接來監(jiān)測，廣告播放的時(shí)候會(huì)向第三方廣告回傳鏈接發(fā)送請求，這樣即使廣告沒有曝光也可以訪問鏈接，造成數(shù)據(jù)不準(zhǔn)確。

但是如果利用我們的技術(shù)，廣告只有在屏幕上曝光了或者這個(gè)聲音已經(jīng)被播出來了才能被捕捉到，才認(rèn)為廣告真的被投放了，AI看到的和我們看到的是完全一致的，所以這個(gè)數(shù)據(jù)是真實(shí)準(zhǔn)確的。

基于ACR的精準(zhǔn)廣告平臺架構(gòu)解析與應(yīng)用

整個(gè)廣告平臺是基于ACR的框架作為底層的數(shù)據(jù)支撐，我們可以看到兩點(diǎn)，左邊的是我們的ACR云端的服務(wù)，下邊是酷云的大屏終端，在里面植入了一個(gè)ACR這樣的SDK，同時(shí)有一個(gè)推送可視化服務(wù)的輕應(yīng)用平臺，用于和用戶之間進(jìn)行交互，做一些展示。

右邊是我們的DMP平臺，它通過大數(shù)據(jù)的框架和架構(gòu)把底層的ACR數(shù)據(jù)做了各種各樣的畫像，各種維度的畫像生成之后產(chǎn)生了一個(gè)DMP平臺，那么廣告主就可以選擇需要的人群進(jìn)行投放。

所有的大屏終端里面可能包含了好幾個(gè)我們的服務(wù)，因?yàn)槲覀兊姆?wù)除了和廠商有關(guān)系，和一些APP也會(huì)有結(jié)合，例如把我們的SDK植入到他們的APP里面。一個(gè)大屏里面可能會(huì)有N個(gè)這樣的服務(wù),我們還會(huì)通過酷云統(tǒng)一KID服務(wù)去給他們建立統(tǒng)一的ID，相當(dāng)于在終端里面，做了一個(gè)分布式的架構(gòu)，然后他們自己會(huì)去競爭，產(chǎn)生一個(gè)leader出來，大家會(huì)把數(shù)據(jù)統(tǒng)一發(fā)往leader，然后由leader統(tǒng)一發(fā)往云端，這樣就降低了很大的數(shù)據(jù)量。通過這樣的設(shè)計(jì)極大節(jié)省帶寬，服務(wù)能力也有了顯著的提升。

下面重點(diǎn)說一下圖片上面的內(nèi)容管理模塊，這里很有意思的是，我們發(fā)現(xiàn)很多知識點(diǎn)和技術(shù)都是相同的，計(jì)算機(jī)視覺的一些技術(shù)甚至可以在構(gòu)建廣告平臺中提供很好的思路。比如同一廣告組的廣告，可能在很多地方是相似的，只是在一些特定的地方不太一樣，為了節(jié)省網(wǎng)絡(luò)的帶寬每次只是去傳不一樣的部分，相同的部分一次性的傳到客戶端去。

在廣告下發(fā)的過程中，我們發(fā)現(xiàn)傳輸?shù)臄?shù)據(jù)量巨大，那么如何去降低數(shù)據(jù)量，降低帶寬？我們想到了計(jì)算機(jī)視覺，大家用c語言比較多的一定很熟悉的一個(gè)函數(shù)printf，差不多就是這個(gè)形式：printf(“hello, %s”, “智東西”)，“智東西”是一個(gè)變量，“hello, %s”是一個(gè)常量，我們把這種形式改造一下，把常量提取出來做成模版，這個(gè)只需要往終端發(fā)送一次，變量是每次需要改變的的東西，只有變量才是每次都需要發(fā)送的，而且我們把變量統(tǒng)一轉(zhuǎn)化為一個(gè)byte數(shù)組，那么它就具有了通用性，通過這種模版我們減少了廣告投放的大量冗余信息，降低了90%的網(wǎng)絡(luò)帶寬。

其實(shí)有很多類似的設(shè)計(jì)，比如我們在做語音的識別服務(wù)時(shí)，也用了很多圖像處理的經(jīng)驗(yàn)，比如把語音轉(zhuǎn)化成頻譜，然后就變成一個(gè)二維的圖，在上面尋找一些特征點(diǎn)做特征匹配；在做收視曲線的時(shí)候，需要標(biāo)識出收視率不斷上升和下降的區(qū)間，這個(gè)時(shí)候我們用了圖像里的關(guān)于一個(gè)形狀的算法：離散曲線演化，就是把形狀做抽象，這樣我們把比較關(guān)鍵的點(diǎn)找出來之后就可以把上升和下降這條曲線做得很好。

又比如要分析一個(gè)月或一年的某一個(gè)頻道的平均收視率，因?yàn)楸澈蟮臄?shù)據(jù)量巨大，我們就想到了用積分圖來做，在積分圖上面查幾個(gè)點(diǎn)就可以搞定這件事情。

下面分享一個(gè)案例，某日化品牌的廣告，我們利用ACR技術(shù)，在電視機(jī)里面播放廣告時(shí)要立刻把它識別出來，這個(gè)時(shí)候在電視里面利用聲紋識別的方式，去識別電視機(jī)里面的這一段廣告，提取出這種聲音的指紋后在云端做實(shí)時(shí)的匹配。這個(gè)匹配過程不能超過一秒鐘，要很快地匹配出來，云端一旦把這個(gè)廣告檢測出來就發(fā)送到廣告平臺。廣告平臺里面涉及到客戶投放廣告，投放廣告在廣告觸發(fā)時(shí)做一個(gè)送話費(fèi)的活動(dòng)，來吸引大家參與活動(dòng)從而對廣告有一個(gè)更深刻的印象。

這個(gè)就是用ACR技術(shù)識別到廣告之后在廣告平臺進(jìn)行匹配，然后利用輕應(yīng)用平臺去推送一個(gè)這樣的卡片，用戶就可以用遙控器參與活動(dòng)了，參與活動(dòng)獲得話費(fèi)后輸入自己的手機(jī)號碼領(lǐng)取。整個(gè)的過程的體驗(yàn)很棒、用戶的參與率也很高。

這背后的技術(shù)其實(shí)并不容易，需要非常精確快速的識別，同時(shí)彈出的卡片不能占據(jù)其他廣告的時(shí)間。識別后還需要做一個(gè)精準(zhǔn)的對齊，整個(gè)活動(dòng)涉及到客戶端、云端、大數(shù)據(jù)平臺、DMP等整個(gè)廣告平臺的實(shí)時(shí)協(xié)同。

我們現(xiàn)在利用酷云EYE Grow平臺，想法其實(shí)是非常多的，我們要做全媒體的閉環(huán)營銷，這個(gè)問題如果解決了，會(huì)對業(yè)界產(chǎn)生一個(gè)巨大的推力，它的本質(zhì)其實(shí)就是數(shù)字化。從電視大屏移到戶外的大屏是非常迅速的，因?yàn)椴还苁鞘裁雌聊欢夹枰嬅婧吐曇?，背后都可以使用ACR技術(shù)，可以很容易做到平移，這樣我們就可以得到最底層的真實(shí)可靠的數(shù)據(jù)，然后利用大數(shù)據(jù)所產(chǎn)生的價(jià)值服務(wù)于各行各業(yè)。這就是計(jì)算機(jī)視覺在這個(gè)領(lǐng)域產(chǎn)生的非常奇妙而且非常重要的作用，具有很大的價(jià)值。

今天我的分享就先到這里，謝謝大家。

END

你的每一個(gè)“在看”，我都當(dāng)成了喜歡▼

原標(biāo)題：《顛覆電視廣告投放新技術(shù)—自動(dòng)內(nèi)容識別ACR全解！》

閱讀原文