本項目完全開源 項目Github地址：AndroidInstantVideo 碼雲地址：AndroidInstantVideo

目前開源的項目或市面上的Android直播客戶端主要是用ffmpeg來實現推流的。本文将介紹使用Android原生的視頻編碼類MediaCodec實現直播推流。

數據流及大緻原理

這裡所說的直播，就是将你的客戶端産生的視頻數據，實時發送到服務器上。服務器上的數據再實時地發送到播放客戶端上。

• 以視頻數據為例：

獲取Camera畫面 首先是攝像頭拍攝得到原始畫面數據，這裡原始畫面數據的格式我們不用管，因為我們使用的是MediaCodec，所以我們會使用 camera.setPreviewTexture(surfaceTexture) 來利用Camera獲取到的畫面。

此處的原理可忽略，大緻說明的話，就是Camera會把獲得的畫面保存為OpenGL的一個紋理，我們使用這個紋理就能使用Camera的畫面。

繪制畫面 在獲得畫面之後，我們要把這個畫面（紋理）“畫”到MediaCodec上。

如何畫？ MediaCodec提供一張’白紙’，也就是一個Surface，供我們把紋理畫到上面。此處的API是 MediaCodec.createInputSurface()

怎麼畫？用Canvas畫。當然不是一般的Canvas，我用了這個開源項目android-openGL-canvas。

H264數據 畫上去後，MediaCodec就會幫我們把原始畫面數據，壓縮成相應的視頻數據，目前我這裡是壓縮成H264數據。 所謂的H264數據，其實隻是一堆堆的byte[]數組。在項目的例子，我把H264數據寫成了文件，可以用某些播放器播放（例如PotPlayer）。

Android推流端

視頻幀圖像處理

前面提到視頻幀的圖像處理，實際上也是利用了android-openGL-canvas。

關鍵代碼如下：

... streamPublisher.prepareEncoder(streamPublisherParam, new H264Encoder.OnDrawListener() { @Override public void onGLDraw(ICanvasGL canvasGL, SurfaceTexture surfaceTexture, RawTexture rawTexture, @Nullable SurfaceTexture outsideSurfaceTexture, @Nullable BasicTexture outsideTexture) { drawVideoFrame(canvasGL, outsideSurfaceTexture, outsideTexture); Loggers.i("DEBUG", "gl draw"); } }); ... private void drawVideoFrame(ICanvasGL canvasGL, @Nullable SurfaceTexture outsideSurfaceTexture, @Nullable BasicTexture outsideTexture) { // Here you can do video process // 此處可以視頻處理，例如加水印等等 TextureFilter textureFilterLT = new BasicTextureFilter(); TextureFilter textureFilterRT = new HueFilter(180); int width = outsideTexture.getWidth(); int height = outsideTexture.getHeight(); canvasGL.drawSurfaceTexture(outsideTexture, outsideSurfaceTexture, 0, 0, width /2, height /2, textureFilterLT); canvasGL.drawSurfaceTexture(outsideTexture, outsideSurfaceTexture, 0, height/2, width/2, height, textureFilterRT); } ...

如上所示，可以使用各種Filter實現對視頻幀圖像的處理。總而言之，可以像Canvas那樣在視頻幀上繪制各種東西。當然要在圖上畫文字就隻能用bitmap代替了。

碼率bit/s

在使用MediaCodec時，需要設置碼率。這個碼率是根據視頻分辨率，色彩格式算出來的。

public H264Encoder(int width, int height, int bitRate, int frameRate, int iframeInterval, final EglContextWrapper eglCtx) throws IOException

其中bitRate就是碼率，單位bit/s

一些計算方法可以參考此文： What bitrate should I use when encoding my video? Output size Bitrate Filesize 320x240 pixels 400 kbps 3MB / minute 480x270 pixels 700 kbps 5MB / minute 1024 x 576 pixels 1500 kbps 11MB / minute 1280x720 pixels 2500 kbps 19MB / minute 1920x1080 pixels 4000 kbps 30MB / minute

此方法大部分情況下夠用，但是對于複雜視頻處理還欠缺。 例如 對比下圖的無處理效果（一張紋理）

對于下圖這樣處理效果（2個畫面用的是與上圖同樣大小的紋理，雖然我設置顯示的尺寸不一樣），碼率是上圖的2倍左右。

測試服務器

需要測試的話，請自行搭建RTMP服務器。我用的是自己搭建的Nginx服務器，用的Module是nginx-rtmp-module。搭建服務器不需要寫代碼，根據教程敲幾行命令就行。 可以用開源直播軟件OBS對比播放效果。 播放器用各種都行，VLC，PotPlayer，ffplay都可以。 我用的是ffplay，注意，因為隻是簡單的服務器，所以要先開播放器連接後再開始啟動推流。 我使用的命令是 .\ffplay.exe "rtmp://localhost:19305/live/roomlive=1"

另外可以使用一下軟件查看生成的文件的詳情。

看H264文件 H.264視頻碼流解析--雷霄骅

看aac文件 AAC音頻碼流解析--雷霄骅

看flv文件 FLV封裝格式解析--雷霄骅

感謝雷神。

聲明

本項目完全開源，項目Github地址：AndroidInstantVideo 本項目為個人開源項目，目前隻做過簡單的測試，如果要使用的話，請自行多測試，有問題可以到我的Github項目地址提出。