手機的拍攝能力是很多用戶購買手機時重要的參考因素。一般來說，人們在考量手機的拍攝能力時，更容易關注手機拍攝模塊的像素多少、光圈大小甚至是CMOS面積等。實際上，手機内部的DSP處理器也在為手機拍攝默默奉獻着自己的力量，甚至在很大程度上DSP的處理能力決定了手機拍攝出的照片美觀程度。那麼，DSP到底是什麼呢？目前市面上高端的DSP又有哪些能力呢？本文就帶你一看究竟。

說起手機的拍攝能力，大多數人肯定會下意識地比較像素、光圈等參數。實際上，手機中還有另外一個重要的部件對手機的攝影效果起到了至關重要的作用，那就是DSP。所謂DSP，全稱為Digital Signal Processor，翻譯過來也被稱作數字信号處理器。那麼什麼是DSP，它又在手機的拍攝中起到怎樣的作用？

在人們印象中，手機拍攝是一個再簡單不過的事情了。我們隻要打開手機的拍攝軟件，取景完成後，按下拍攝按鍵就能完成整個操作，前後時間甚至可能不到五秒鐘。不過，簡單的背後往往是我們想象不到的複雜過程。如果排除操作和對焦部分，僅僅考察我們按下拍攝按鍵後，手機對畫面信息的處理過程，可以簡單分為下列四個步驟：

▲CMOS采集的原始信号數據和我們最後看到的畫面差距巨大。

第二步是CMOS将電信号利用模/數轉換器轉換為數字信号。因為普通的模拟信号無法進行下一步計算，因此需要模/數轉換器轉換成數字信号。部分CMOS會在這個時候對光照信息進行初步處理。ISP也就是圖像信号處理器也在這個步驟對畫面進行各種處理，包括降噪、銳化、色溫調節、色彩校正、白平衡、曝光補償等内容。

第三步是DSP處理數字信号。DSP繼續根據算法對畫面進行調整，并主要進行難度較高的計算處理。比如對畫面光線效果的進一步優化，對夜景這類特殊場景進行進一步的降噪和曝光處理，對逆光場景進行補償，啟用優化算法對畫面色彩和細節進行進一步的調整等。DSP往往還可以進行一些複雜處理，包括畫面内容識别、鏡頭畸變矯正、HDR合成等内容。在數據處理方面，DSP還可以進行數據的壓縮和編解碼，包括JEPG的編解碼、視頻的編解碼等。

▲DSP是處理數字信号的專用設備，圖為常見的音頻DSP芯片。

最後一步則是CPU再根據已有的算法進行進一步處理。随後CPU部分會将調節後的圖像輸出到内存中并通過VPU等部件顯示在屏幕上，同時将畫面存儲至手機存儲器中，以備用戶查看和使用。

▲DSP的架構和CPU、GPU都存在很大差異，圖為DSP芯片照片圖。

通過簡單描述的過程我們可以看出，DSP在畫面處理中起着承上啟下、至關重要的作用。尤其是DSP掌握着“一手數字信息”，能夠在ISP之後實現對畫面輸出的管理和矯正。可以說如果沒有DSP，人們看到的畫面效果可能會大打折扣。

不僅如此，由于架構優勢，DSP能夠帶來遠遠高于CPU的能效比，不但幫手機提高了處理速度，還大大節約了能耗，是“魚與熊掌”兼得的産品。

看了前文，大家對DSP的工作任務應該有了一定了解，那麼DSP究竟有哪些優勢才使得其如此受到廠商重視呢？

從DSP的發展來看，早期的DSP就是單純的實行對數字信号進行初步處理的作用，比如對數據進行初步的篩選和過濾，并不要求高精度和強大的計算能力。不過随着計算的日益複雜和應用的逐漸增多，DSP以其獨特的架構優勢逐漸成為了專業人員眼中重要的數據處理部件。從應用角度來說，DSP有兩個優勢非常顯著：

首先是DSP專門為數字處理而生，因此架構設計偏向固定的處理方式，最大化了每周期能完成的工作。在目前的移動計算架構中，DSP的架構和GPU、CPU有所不同。DSP本身需要處理大量的并行數據，并且數據執行的方法比較單一，因此在電路設計上，DSP能夠以極高的效率用固定處理的方式快速、大量、并行地完成巨大的數據計算，常見的計算諸如快速傅裡葉計算、大量的累積乘加、卷積計算等。

▲一款DSP的架構圖，DSP面向的任務多是數字處理過程，需要大量高效率的固定單元模塊。

一般來說，固定的處理流水線要比可編程的流水線效率高很多，DSP面對的數字信号處理算法不多，固定的集中算法可以用固定的方法進行優化，這是DSP在架構上得天獨厚的優勢。

其次是DSP在功耗上的優勢也很明顯。除了固定算法帶來的高效率外，DSP一般都在較低的頻率下工作，頻率越低工作驅動電壓越低，而功耗和頻率、電壓的平方直接成正比，因此高頻率需要高電壓，DSP的低頻率電壓就相對更低一些。如果大量的數據交由CPU進行處理的話，且不說CPU的流水線架構不太适合處理大量并行的數據，就算強行處理，CPU的高功耗和相對于DSP較慢的速度也會大大拖累移動設備的續航時間。

有着兩大優勢作為基礎，DSP在今天越來越受到人們重視。除了圖像處理外，針對視頻、音頻、傳感器、計算機視覺等諸多内容，DSP相比通用的CPU效能更高，因此應用範圍越來越大。在移動設備上，一顆好的DSP能夠為用戶帶來更好的拍攝畫質和更出色的使用體驗。那麼，目前高端DSP産品都有什麼特性呢？

高通骁龍845處理器目前是很多高端手機的首選産品。在骁龍845中，除了強悍的CPU、GPU部分外，其DSP部分也非常引人矚目。

骁龍845中使用的DSP被稱為Hexagon 685。Hexagon 685是高通在骁龍835上使用的Hexagon 682的升級版本，它們的技術來源基本都是高通在骁龍820上發布的Hexagon 680。從産業發展的角度來看，高通是非常具有前瞻性的，Hexagon 680（骁龍820）時代高通就通過引入HVX，也就是Hexagon Vector eXtensions（Hexagon矢量擴展引擎）來加強處理器的矢量計算能力。

▲骁龍845處理器使用了Hexagon 685 DSP

在Hexagon 680中，高通加入了2個并行的HVX，每個HVX包含4個1024位的SIMD流水線，能夠快速、并行地處理大量矢量數據。在數年後的今天，深度學習和機器學習興起，這兩者需要計算的内容包含了大量的矢量數據，但是傳統的移動CPU和GPU架構并不适合高效能地運行這樣的内容，尤其是深度學習要求的随機梯度下降算法等。

▲高通曾詳細公布過Hexagon 680 DSP的架構和細節。目前Hexagon 685沒有更多資料，但是和Hexagon 680存在一定的關系。圖為Hexagon 680的架構圖，可見VLIW并行管線設計。

在這種情況下，繼承Hexagon 680架構并進行了全面加強的Hexagon 685不但在圖像處理和傳感器數據處理方面一如既往的強大，還帶來了比傳統DSP強大數倍的深度學習能力，這使得Hexagon 685在各種深度學習相關的應用中能得到更好的效能。

除了強大的矢量處理能力外，Hexagon 685的指令集系統也得到了改善，由于控制代碼進一步的調整，Hexagon 685擁有比傳統VLIW更高的效率，并且通過采用技術手段處理空閑和停滞的線程，使得數據運行更有效。此外Hexagon 685還能實現零延遲循環線程調度，這意味着DSP的處理效能将得到大幅度加強。

▲高通發布骁龍845時對Hexagon 685 DSP進行了詳細介紹

在硬件上準備完成後，高通正在準備将軟件支持引入Hexagon 685，目前高通正在準備為骁龍845和Hexagon 685引入TensroFlow支持，這将使得大量的人工智能應用能夠得到加速。高通宣稱Hexagon 685的效能比非Hexagon設備快了25倍，在使用GoogleNet Inception深度神經網絡算法演示中，Hexagon 685能夠識别更多的圖像，并且速度更快。這使得Hexagon 685能夠在圖像處理中迅速查找到需要的目标，并能夠實現指定的優化和增強。

在加入了深度學習後，Hexagon 685配合恰當的軟件，有希望将人工智能技術帶入攝影和成像過程，這将大大改善目前攝影畫面自動處理狀況。其典型的應用場景包括人臉識别、實時降噪、多幀合成、實時相機濾鏡等功能。

舉例來說，用戶在夜間拍攝人像時，如果照亮夜景就很難顧全人臉，如果用閃光燈補光人臉夜景則非常暗淡。現在人們可以利用深度學習功能，讓機器實現對人像和夜景的識别和分離，最終對兩者應用不同的色彩和光線處理方式，再合成在一張照片中，就能夠帶來人像和夜景的和諧相處。

此外在動物拍攝、特殊場景識别（比如海邊、沙漠等不同的白平衡場景）、色彩後期處理方面，利用AI技術的加入，人們可以得到更為優秀的拍攝效果，不再需要後期通過額外的濾鏡對畫面進行調整和處理，更加輕松方便。

除了高通這樣的老牌廠商外，在DSP領域，Cadence這家以EDA軟件著稱的廠商，也推出了一系列産品。從Cadence在DSP上的發展來看，之前Cadence也推出過諸如P6這樣優秀的DSP，并被廣泛應用在華為、MTK等廠商的SoC中。而其最新的産品Q6的推出，又将帶來更強大的計算能力。

▲Cadence作為老牌EDA廠商，在DSP領域也有建樹。

Vision P6引起業内人士的興趣是在華為P20系列手機發布之後。由于華為在麒麟970中使用了Vision P6作為其DSP，在實際拍攝中，華為P20 Pro展示了強悍的拍照能力，照片畫質優秀、色彩準确、細節豐富。達到這樣的拍攝效果，Vision P6 DSP功不可沒，在目前明确的信息中，Vision P6 DSP提供了包括機械圖像穩定機制（防抖）、夜景模式、多幀處理降噪能力、低光照拍攝能力等功能，大大加強了華為手機的拍照效果。

▲Cadence DSP可以深度介入圖片拍攝的各個過程

在Vision P6 DSP之後，Cadence又發布了Vision Q6 DSP。從參數來看，Vision Q6相比Vision P6，大量功能上都有着顯著加強，包括AI功能提升了1.5倍、頻率提高了1.5倍以及能耗比提升了1.25倍。在細節參數上，Vision Q6的微架構也有一些調整，包括流水線深度從之前的10級增加至13級；全面改進了分支預測功能，使得流水線級數加多，更深的管道不會帶來IPC的負面影響。此外其他的改進還包括存儲系統的加強、改進的加載/存儲單元、存儲帶寬增加、ISA在圖像處理和機器學習方面的改進等。

▲目前發布的Vision Q6是上一代P6的設計版本，可搭配C5 AI加速模塊。

在比較受到業内關注的矢量處理能力方面，Vision Q6保留了之前Vision P6的功能，但也作出了針對性的加強。比如每周期可以執行4個每64-way的SIMD矢量計算，總計每周期可以執行256個ALU操作。在VFPU方面，Vision Q6采用了可選的設計，用戶可以根據需要選擇在32路SIMD矢量FPU中加入16路FP32或者32路FP16功能，以加強浮點計算能力等。

▲Vision Q6的相關性能提升情況

在加強了矢量處理硬件部分後，Cadence宣布對Android NN API的支持，包括對TensorFlow和TensorFlow Lite以及現有的Caffee框架支持，也就是說Vision Q6和之前介紹的Hexagon 685一樣，加強了對深度學習的支持，這将使得Vision Q6能夠利用AI技術加強畫面處理，實現更好的畫質。

▲Vision Q6的架構改進情況

▲Vision Q6也支持有關人工智能的計算加速

目前DSP在進一步加強傳統的圖像、音頻等信号處理功能的同時，還加強了AI相關功能。畢竟在AI加入之後，之前很難處理或者無法完成的一些操作，都可以交由AI進行判斷和識别，這将對移動設備上的攝影、視頻拍攝等功能将帶來非常正面的改善，AI可以幫助用戶實現更優秀的使用體驗，使得人們能夠獲得更出色或更符合實際的照片、視頻。

不過，目前AI在DSP上的應用僅僅是剛開始，從産業界的發展态勢來看，AI是否應該獨立為協處理器，DSP是否應該加強AI功能，目前還沒有明确的答案。但是随着技術的發展和進步，AI正在逐漸爆發它那越來越強大的力量，DSP和AI，究竟是合并還是分道揚镳，或者互相加強，還得等等看才能進一步明确了。