協方差及協方差矩陣有着特别廣泛的應用，在多元高斯分布、高斯過程、卡爾曼濾波等算法中多有用到，本文從協方差、協方差矩陣講起，并重點講解協方差矩陣在高斯分布中的用法及意義，也是講解高斯過程、貝葉斯優化的鋪墊。

協方差（Covariance）

X、Y兩個随機變量的協方差在和中用于衡量兩個變量的總體。用來刻畫兩個随機變量之間的相關性：

假定我們不知道潛在的概率分布，我們取n個樣本來計算：

分别計算這n樣本的兩個變量的均值，這兩個變量的協方差可以用下式來計算：

由于變量都有量綱，如果消除各自量綱影響，将協方差除以兩個變量的标準差，則可得相關系數：

協方差矩陣

随機向量：

我們計算所有元素的兩兩協方差，形成協方差矩陣：

這是一個對稱矩陣，對角線是每個變量的方差。如果是對角陣，

協方差矩陣形式如下：

協方差矩陣與多元高斯分布

多元高斯分布概率密度的推導

設多元高斯分布如下：均值向量為μ，協方差矩陣為Σ

與一元高斯分布對比，概率密度函數形式有所變化，這個變化是怎麼來的，我們通過二元高斯分布來推導一下這個密度函數的由來。

對于二元高斯分布，我們設定：

現在我們推導兩個變量的高斯分布的密度函數公式：

這個聯合概率密度函數是各自概率密度函數的乘積，這表明兩個變量是獨立的。這個獨立性反映在我們的協方差矩陣中，就是隻有對角線元素不為零，兩個變量是獨立的，所以聯合概率密度可以表示為兩個變量概率密度的乘積。

二維高斯分布函數圖像

我們看相互獨立的兩個變量的二維高斯分布圖像在XoY平面投影的函數表達式

令：

得:

顯然這是一個橢圓曲線的表達式。

我們看兩種情況，一種協方差矩陣是對角陣（變量相互獨立），另一種是協方差矩陣是非對角陣（變量有關聯）。

• 如果高斯随機向量具有對角線的協方差矩陣（所有變量都是不相關的，那麼概率密度函數曲面在X0Y投影的橢圓曲線的兩個軸平行于坐标軸。

• 如果高斯随機向量的協方差矩陣是非對角陣（一些變量是相關的），那麼概率密度函數曲面在X0Y投影的橢圓曲線的兩個軸仍然是相互重直，但與坐标軸并不平行。

我們用matlab來形象展示一下：

下圖是兩個變量的均值都是零，協方差矩陣為：

其三維曲面如下：

在XOY平面的投影如下：

本文主要講解了協方差矩陣及其在高斯分布中意義和用法。協方差矩陣在高斯過程中有着非常重要的意義，如果不能很好的理解協方差矩陣，就不能很好的理解高斯過程。

,