即使熱能以及聲音都是能量的表現形式,但是盡管在你很小的時候,卻也并不需要被教育說不要用“熱對流”這門語言來講話。每次你的孩子偶遇流浪動物的時候,他們也不需要被多次教育就能判斷得出這隻動物到底是貓還是狗。
人類天生就知道如何判斷這些簡單的差異。因為差異如此明顯,對于我們來說,認識到這些差異都是非常自然的,我們将其稱之為常識。相比之下,計算機則需要一步一步的學習,才能以确定性算法的形式,來呈現進而給出最基本的判斷。盡管這幾十年來機器在速度和處理能力方面的不斷提高,但仍然無法做那些連蹒跚學步的小孩都能做的事情。
在過去的十二年中,作為受人類大腦結構啟發的,作為人工智能分支的深度學習,在賦予機器感知物質世界的能力方面取得了巨大的進步。在Facebook的AI實驗室裡,他們建立了一個深度學習系統,這個系統能夠回答以前從未公開過的簡單問題。Amazon的智能音箱“Echo”便使用了深度學習技術。
三年前,微軟的首席研究員在中國進行了一次演講,而這次演講給了參與者十分深刻的印象,這位研究員為參會者演示了深度學習語音軟件,他使用了深度學習語音軟件将他的口語英語翻譯成中文,随後機器立刻模仿他的聲音給出了國語翻譯,而誤差率僅僅隻有7%。目前,該技術被用來改善Windows mobile和Bing上的語音搜索功能。
世界上最強大的科技公司Google一直悄悄地部署利用深度學習來改善他們的産品和服務,目前沒有一家公司如Google般在此方面投入巨大。據紐約時報報道,谷歌把公司押寶在人工智能上,投入了很多資源争奪人才。
事實證明,谷歌的努力取得了成果。幾年前,谷歌用訓練好的神經網絡進行物體識别,在1000萬張未打标簽的圖片(貓,人臉,花,不同種類的魚以及各種其他東西)上測試,準确率比之前所有方法幾乎高兩倍。當Google在Android語音搜索上部署深度學習時,錯誤率在一夜之間下降了25%。今年年初,另一個Google深度學習系統擊敗了世界上最複雜的棋盤遊戲其中之一最好的玩家。
這僅僅是個開始。我相信在未來幾年,創業公司和大型科技公司都将使用深度學習來升級一系列現有應用程序,并創造新的産品和服務。全新的業務線和市場将會興起,這反過來又會帶來更多的創新。深度學習系統将變得更容易使用和更廣泛地可用。我預測,深度學習将根本地改變人們與技術交互的方式,正如操作系統改變了普通人使用電腦的方式一樣。
深度學習
曆史上,計算機通過用确定性算法編程來執行任務,這些程序詳細說明了必須執行的每一步驟。這在許多情況下運作良好,比如從執行複雜的計算到擊敗國際象棋大師。但是在無法提供明确算法的情況下,比如識别面部或情緒,或者回答非常規的問題,計算機卻表現得并不好。
以前傳統機器學習的做法是,手工提取圖片的特征,比如一張人臉圖片,我們要手動計算比如兩個眼睛之間的距離,眉毛的角度等等特征,但是這種做法魯棒性不好。
想想現代語音助手與Siri或Alexa之間的區别,Siri和Alexa允許你使用自然語言來詢問各種事情,而自動電話菜單系統隻能執行那些特定的程序。相比之下,數據對于基于深度學習的系統便顯得非常有意義,深度學習能夠通過梯度下降的方法自動提取特征,解決了傳統機器學習魯棒性不好的問題。不同于人類大腦的不确定的靈感,這些機器的學習是來自于他們的真實世界的經驗。并且,它們中有一些現在已經和人一樣擅長對象和語音識别。
深度學習如何工作?
深度學習的靈感來自于大腦新皮質裡面的神經網絡,大腦新皮質是大腦處理高層次的感知和認識的部分的。在大腦中,神經元是傳遞電或化學信息的細胞。當與其他神經元連接時,它就會形成神經網絡。在機器中,神經元是虛拟的——基本上是運行統計回歸的代碼。
當足夠多的這些虛拟神經元集合在一起,将得到一個虛拟的神經網絡。将神經網絡中的每個神經元視為一個簡單的統計模型:它接受一些輸入,并且傳遞一些輸出。
然而,為了使神經網絡有用,它需要訓練。訓練神經網絡的第一步是初始化各神經元的“權重”,各神經元的權重定義了它們怎麼與新的數據交互(數字化的圖片或音頻)。和傳統的統計學和機器學習一樣,在訓練的時候我們需要為神經網絡提供對訓練數據而言正确的輸出,讓它從中學習。
因此,如果網絡沒有準确地識别輸入——例如在圖像中無法識别臉部,那麼系統将調整權重,即,每個神經元給予數據不同的關注程度,以産出正确的答案。最終,在充分訓練之後,神經網絡将一緻地正确識别語音或圖像。
人工神經元的想法已經存在了至少60年,當時,在20世紀50年代,弗蘭克·羅森布拉特建立了一個由電機,撥号盤和光檢測器組成的“感知器”,這個機器被成功訓練成能夠說明基本形狀之間的區别。但早期的神經網絡完全受限于模拟神經元的數量,這意味着他們不能識别複雜的模式。過去十年的三個發展使深入學習成為可能。
首先,多倫多大學的Geoffrey Hinton和其他研究人員開發了一個突破性的方法,軟件神經元通過分層訓練來教導自己。(Hinton現在把他在多倫多大學和谷歌之間的時間分割了開來。)經過百萬級數據訓練之後,神經網絡的第一層便能學會判别基本的特征,例如物體的邊緣和輪廓。
一旦該層學習如何準确地識别這些東西,它就會被饋送到下一層,訓練自己以識别更複雜的特征,例如鼻子或耳朵。然後,該層又被饋送到另一個層,其訓練自身以識别更高的抽象級别,這個過程将一直持續,直到系統可以可靠地識别非常複雜的現象,例如人臉。
AI最近進展的第二個發展是現在可用的大量數據。大規模的數據生産導緻了快速的數字化,數據也日益成為訓練深度學習系統不可或缺的東西。經過觀察幾次演示以後,孩子們也便能學會某些事情。然而,AI機器要學會某樣東西則被一遍又一遍地訓練。
深度學習本質上是一個教育機器如何做一件事情或教會其正确認知某個事物的過程。随機提供深度學習神經網絡1900萬張貓的圖片,最終軟件神經元經過統計以後将會根據貓的顯著特征找出貓來。它會由此來學習如何辨别一隻貓。這就是為什麼大數據如此重要的原因,因為如果沒有了大數據,深度學習便不能繼續了。
最後,由Andrew Ng(現在在百度)領導的斯坦福團隊發現,在為視頻遊戲的視覺處理需求而發明的芯片或GPU中,它們進行圖形處理的過程可以被轉用于深度學習。直至到最近,典型的計算機芯片一次也隻能處理一個事件,而GPU則被設計用于并行計算。 使用這些芯片運行擁有着數百萬連接觸點的神經網絡,能夠幾個數量級地加速并行提高深度學習系統的訓練及能力。它能使一台機器在一天之内學會一些過去需要花費幾周時間才能學會的東西。
目前最先進的深度學習網絡由數百萬個模拟神經元組成,它們之間有數十億個連接,無需監督便可以自主學習訓練。這是人工智能的最有效的實際應用,但至今還沒有被設計出來。對于某些任務,一些被訓練好的最優秀的深度學習系統甚至與人類表現相當。該技術正在從研究實驗室走入産業領域。
深度學習 OS 1.0
對比起那些使人印象深刻深度學習成果,深度學習 OS 1.0的結果已經是早前的成果了。如果我把它類比到個人計算機,這個階段的深度學習正處于初級發展的時期。
目前,大量的時間和精力都被投入進去供深度學習所用,比如數據清洗,标記和解釋,而不是把深度學習利用起來。但在接下來的幾年中,初創企業和成熟的公司将開始發布商業解決方案,用于構建生産就緒的深度學習應用程序。利用TensorFlow等開源框架,這些解決方案将大大降低創建複雜深度學習系統的工作量,時間和成本。它們将一起構成深度學習操作系統的基礎。
深度學習操作系統将被廣泛地被AI使用。Windows和Mac操作系統會以同樣的方式允許普通消費者使用計算機和SaaS訪問雲,科技公司在未來幾年将會讓深度學習普及開來。 最終,深度學習操作系統将允許不是計算機科學家或自然語言處理研究者的人,使用深度學習來解決現實生活中的問題,如檢測疾病而不僅僅是識别貓。
編造深度學習操作系統的第一批新公司将緻力于解決數據,軟件和硬件方面的問題。
數據方面,獲得高質量的大規模數據是深度學習的最大障礙。但是無論是服務商店還是軟件平台都會出現以解決以上障礙。公司已經創建了内部智能平台,這會幫助人們快速标記數據。未來的數據标簽平台将嵌入在應用程序的設計中,這樣,那些通過使用産品而産生的數據将會被抓下來以用于訓練目的。那些新的服務型公司也将會把标記業務外包給低成本國家,同時通過合成手段來創建标簽數據。
軟件方面的創新則發生在了下面這兩個主要的領域:
1)神經網絡的設計和編程。不同的深度學習架構,例如CNN和RNN,支持不同類型的應用(圖像,文本等)。另外一些則使用神經網絡架構的組合。至于訓練,許多應用程序将組合使用機器學習算法,深度學習,強化學習或無監督學習等方法來解決應用程序的不同子部分的訓練。我預測有人會構建一個機器學習設計引擎解決方案,它将檢查應用程序,培訓數據集,基礎設施資源等,并推薦使用正确的架構和算法。
2)可再用神經網絡模塊的市場。如上所述,神經網絡中的不同層學習不同的概念,然後彼此成就。這種架構自然地創造了共享和重新使用那些受過訓練的神經網絡的機會。被訓練以識别貓臉的虛拟神經元,其第一層的參數也同樣可以被直接運用于識别人臉。目前最流行的深度學習框架Tensorflow已經支持重複使用整個子圖組件。不久之後,這個由諸多機器學習專家們共同構建的開源模塊,将為創造一個專注于深度學習的GitHub或StackOverflow提供可能性。
硬件方面,對于開發者來說,尋找GPU,CPU,雲資源的最佳組合; 确定并行化的級别; 執行成本分析都是十分複雜的決策。這将為各類平台及服務型公司推薦正确的基礎建設以良好的機會。此外,将有公司為深度學習提供有基礎設施服務功能的專業硬件,比如協調,橫向擴展,管理和負載平衡。此外,我非常期待老牌公司和初創公司會推出自己的深度學習優化芯片。
這些都隻是一些料想性的東西。我确信創業者會有更多的想法,因為這項技術的潛力是巨大的。我們正在開始創造能夠自主學習并且能有一些明智判斷的機器。
【钛媒體作者:本文由「圖普科技」編譯,微信公衆号「圖普科技」(tuputech)】
更多精彩内容,關注钛媒體微信号(ID:taimeiti),或者下載钛媒體App
,