Netflix的一位資深數據科學家訓練了一個AI來檢測電影中的接吻場景。

Netflix(Nasdaq NFLX) 成立于1997年，是一家在線影片租賃提供商，主要提供Netflix超大數量的DVD并免費遞送，總部位于美國加利福尼亞州洛斯蓋圖。

圖1 Netflix應用

導讀

通過人臉與物體識别的深度學習算法，人工智能AI可以識别由專業演員表演的接吻場景。

人工智能系統能夠更好地洞察人類最親密的活動。

圖2 電影"幽靈"

實現過程

這項基于人工智能的接吻檢測研究來自Netflix資深數據科學家阿米爾·齊艾(Amir Ziai)。

當時他正在完成研究生課程，以獲得斯坦福大學(Stanford University)的人工智能碩士學位。

就像一個從未被吻過的人一樣，AI開始通過觀看浪漫電影片段來學習基本知識。看看好萊塢明星是如何親吻的。

圖3 情侶街頭接吻

Ziai從過去一個世紀的好萊塢電影數據庫中挑選了有代表性的100部電影樣本。然後，他将不同的電影片段手工标記為接吻或非接吻場景，并使用這些片段中的靜止幀和聲音片段來訓練深度學習算法，以檢測接吻的景象和聲音。

Ziai說:“現在還不清楚，吻檢測方法是否适用于更多的性行為場景。在我的訓練中，我遠離了過度的性場景，以确保該模型不會混淆接吻和性。"

圖4 海綿寶寶的飛吻

Ziai目前的雇主Netflix沒有參與斯坦福大學的這項研究，這項研究的詳細情況發表在arxiv上。

但不難想象，Netflix或YouTube、Facebook、Instagram和TikTok(抖音)等處理大量流媒體或存儲視頻的公司可能會對這些應用産生興趣。

早在2019年4月，谷歌就宣布其Pixel智能手機已經進行了PhotoBooth功能更新。當智能手機攝像頭拍攝的一個框架内檢測到接吻時，手機就可以自動拍照。

圖5 pixel手機

Ziai展示了接吻視頻檢測技術，為未來的應用程序提供了線索，這些應用程序可以自動對視頻内容進行分類，為觀衆創建個性化視頻推薦，甚至可能将某些視頻作為在線内容審核的一部分進行篩選。

圖6 圖像識别，人、羊、狗

OpenAI的戰略和溝通主管傑克·克拉克(Jack Clark)表示:“這是一個很好的例子，說明了現代計算機視覺技術使開發特定的'感知和響應'軟件變得相當容易，這些軟件被引導到定性/非結構化的事物."

圖7 openai是一家人工智能研究公司，它發現并實施了安全人工通用智能的途徑。

相關的研究成果

在AI識别接吻場景的時候，最成功的深度學習模型是RESNET-18，這是一種圖像分類算法。它已經對流行的ImageNet數據庫中的100多萬張圖像進行了訓練。為了傾聽接吻的聲音，一種被稱為vggish的深層次學習模式在每個場景的最後960毫秒的音頻片段上進行了訓練。

圖8 ResNet-18網絡結構

這種雙管齊下的訓練，即同時處理圖像和接吻音頻的方法，幫助整個模型獲得了相當令人印象深刻的分數，0.95（可以理解成識别準确率）。

圖9 這一個采用數據流圖(data flow graphs),用于數值計算的開源軟件庫

但是，當它在一些電影場景中遇到更複雜的視頻編輯和鏡頭時，這個模型仍然步履蹒跚。

例如，演員接吻的寬鏡頭有時會混淆算法，因為大部分鏡頭都是由背景場景組成的。

圖10 人工智能的應用

經過大量訓練的AI模型，現在很難确定它是用哪種特定的數據模式來實現預測的。但在好萊塢接吻場景中，深度學習模型似乎更關注與演員面部相關的圖像像素。可以想象，這種AI是通過演員的面部表情變化（像素變化），以及視頻的上下文語義，實現預測的。

總結

另一個問題是，這樣的人工智能模型能否在社交媒體上常見的視頻類型中，準确地檢測接吻場景。

這一挑戰可能需要在更大的視頻數據集上進行更多的訓練。

盡管如此，一些非常初步的測試表明，這種人工智能的吻檢測可以被更廣泛的應用。

文 | Jeremy Hsu，IEEE Spectrum，24 Jun 2019 | 15:29 GMT.

通信M班長編譯

看到這裡，給班長點個贊吧。歡迎在評論區留言讨論！

,