時至今日，我們在觀影、追劇、直播時，發(fā)彈幕已成為大部分用戶的行為習(xí)慣。常規(guī)彈幕目前實現(xiàn)了彈幕與視頻分離，用戶可二選一，很好的規(guī)避了彈幕滿天飛的混沌狀態(tài)。但在直播、二次元等諸多的場景中，用戶更希望在不壓縮視頻質(zhì)量的情況下同時享受“看”與“說”。
“(Dan)幕”這個詞源于射擊游戲，彈幕網(wǎng)站也源于此， Niconico視頻網(wǎng)站是相對較早擁有彈幕功能的網(wǎng)站。隨后，彈幕網(wǎng)站憑借共鳴性、易操作性，及人人都能享受的再創(chuàng)作娛樂化與對話語權(quán)等特性風(fēng)靡。
自動躲避人像的彈幕
近日，游戲直播平臺虎牙發(fā)布了AI智能彈幕功能，滿足了用戶“看”與“說”同時進(jìn)行的需求，當(dāng)用戶在彈幕設(shè)置中選擇該功能后，彈幕就會自動躲避人像。也就是說，在直播過程中，用戶可以清晰的看到主播的整個臉以及整個輪廓。
虎牙AI產(chǎn)品總監(jiān)表示，在“大主播直播間、上電視玩法進(jìn)行時”等場景下，常常會出現(xiàn)高密度彈幕的現(xiàn)象，高密度彈幕會遮擋住主播，對于希望看到主播的用戶來說是一種干擾，而關(guān)閉彈幕又讓用戶無法看到精彩彈幕內(nèi)容且無法與其他用戶進(jìn)行互動交流。為了改善這種現(xiàn)狀，許多視頻企業(yè)開發(fā)出了精簡彈幕、半屏顯示以及調(diào)節(jié)彈幕透明度等多種手段，但這些依然不是最完美的解決方案。
虎牙直播采用背景分割技術(shù)，能較好處理人和背景分離，實現(xiàn)智能彈幕。這項功能在虎牙娛樂品類得以實踐，而在有效分割了游戲主角和背景方面，虎牙表示后續(xù)該功能會繼續(xù)在游戲品類進(jìn)行嘗試拓展。
AI智能彈幕背后的那些技術(shù)
虎牙AI技術(shù)負(fù)責(zé)人表示，AI智能彈幕功能背后有兩大核心技術(shù)，智能識別人像和人像掩碼的智能壓縮。
實時端上智能識別人像。實時端上智能人像動態(tài)識別的技術(shù)原理是利用計算機圖像分析、模型理論、人工智能及模式識別技術(shù)的非接觸性高端模式識別技術(shù)，從復(fù)雜的圖像場景中檢測出特征人臉信息，并進(jìn)行匹配識別的智能分析過程。
人像掩碼的智能壓縮。 利用人工智能技術(shù)識別出 “人像”區(qū)域像素集掩碼(mask)，把掩碼用智能壓縮技術(shù) 壓入視頻流，觀眾端再把掩碼跟視頻幀同步解壓。幀跟掩碼一一對應(yīng)，就可以知道幀中人像的精確位置。
在專訪中，虎牙AI技術(shù)負(fù)責(zé)人還向我們介紹了AI智能彈幕功能的特點：
1、常規(guī)處理彈幕的做法是“離線(Offline)”和云上處理，需要面對的只是識別問題;而虎牙是針對直播進(jìn)行實時端上處理;
2、有的網(wǎng)站采用類似PS蒙版技術(shù)，采用人工方式為特定視頻添加蒙版來模糊彈幕;而虎牙則采用人景分離技術(shù)，讓人物與場景分離，讓彈幕在人物之后，場景之前;
3、AI智能彈幕與傳統(tǒng)直播彈幕相比，在幾乎不增加帶寬的前提下，把每幀的mask隨視頻流編碼。而常規(guī)方法在視頻點播的中則需要大量的流量來支撐彈幕傳輸。
用“黑科技”營造極致用戶體驗
當(dāng)問及識別、掩碼壓縮、幀與掩碼對應(yīng)等一系列操作，尤其在直播環(huán)境下，運維方面是不是要花費很大精力，也就是說，怎樣確保用戶體驗不受到智能彈幕功能的影響?
虎牙AI技術(shù)負(fù)責(zé)人這樣回答，端上對AI體驗最大的影響是計算量。 在虎牙設(shè)計AI彈幕功能時，就考慮到了算力受限的問題。故把人像識別，mask編碼放在主播端進(jìn)行實時計算，不會影響到用戶的體驗。在用戶端，僅需要增加計算解碼mask和mask掩碼生成，計算量非常小。但是涉及到AI背景分割技術(shù)，游戲直播中落地的可能性還有待研究。
當(dāng)前，AI技術(shù)已經(jīng)在直播行業(yè)內(nèi)容的生產(chǎn)、分發(fā)、消費、商業(yè)變現(xiàn)等多個關(guān)鍵環(huán)節(jié)進(jìn)行嘗試和落地。前期主要的貢獻(xiàn)在于提升內(nèi)容分發(fā)的效率，未來則會進(jìn)一步變革直播內(nèi)容的生產(chǎn)方式，提升生產(chǎn)效率。AI的核心技術(shù)包括語音識別、圖像識別、自然語言處理，虎牙也會進(jìn)一步把這些技術(shù)落地到直播視頻的生產(chǎn)和分發(fā)中。
直播行業(yè)發(fā)展至今，從“千播大戰(zhàn)”到“大浪淘沙”，再到“激烈廝殺”，直播平臺簽約頭部主播從來都不惜重金。經(jīng)過很長時間爭奪，游戲直播市場格局逐漸穩(wěn)定，AI智能彈幕功能更是為虎牙直播錦上添花。
申請創(chuàng)業(yè)報道，分享創(chuàng)業(yè)好點子。點擊此處，共同探討創(chuàng)業(yè)新機遇！
