來源：Deephub Imba

本文約1500字，建議閱讀9分鐘

本文解釋了 MLE 的工作原理和方式，以及它與 MAP 等類似方法的不同之處。

最大似然估計(Maximum Likelihood Estimation)是一種可以生成拟合數據的任何分布的參數的最可能估計的技術。它是一種解決建模和統計中常見問題的方法——将概率分布拟合到數據集。

例如，假設數據來自泊松(λ)分布，在數據分析時需要知道λ參數來理解數據。這時就可以通過計算MLE找到給定數據的最有可能的λ，并将其用作對參數的良好估計。

MLE是用于拟合或估計數據集概率分布的頻率法。這是因為MLE從不計算假設的概率，而貝葉斯解會同時使用數據和假設的概率。MLE假設在計算方法之前，所有的解決方案(分布的參數)都是等可能的，而貝葉斯方法(MAP)不是這樣，它使用了關于分布參數的先驗信息。

MLE之所以有效，是因為它将尋找數據分布的參數視為一個優化問題。通過最大化似然函數，找到了最可能的解。

顧名思義，最大似然估計是通過最大化似然函數來計算的。(從技術上講，這不是找到它的唯一方法，但這是最直接的方法)。

似然函數是衡量樣本成為觀察到數據的概率。

如果數據集有1-n個獨立同分布的(iid)随機變量，X₁至Xₙ，與觀察到的數據 x₁ 到 xₙ 相關，我們就有似然函數的數學表達式：

這可以很好地概念化似然函數——但是我們如何将其分解為可以從數據中計算出來的東西呢？換句話說，我們怎樣才能找到最大化我們的似然函數的θ，并且确認他是最大化的？

給定：

那麼：

因為所有随機變量作為觀察數據值的概率等于每個随機變量作為每個數據值的概率（因為它們是獨立同分布的）。

最後，如果數據來自的分布具有密度函數 f(x)，例如泊松分布：

那麼似然函數表示為：

對于上面的泊松分布的例子，似然函數将是：

總之，似然函數是作為給定分布參數的函數給出的觀測數據的聯合概率。

如何最大化似然函數

現在可以用數學方式表達給定分布的似然函數，但看起來它是一個需要最大化甚至求導數的函數。那麼如何有效地最大化似然函數呢？

取它的對數

雖然似然函數通常難以在數學上最大化，但似然函數的對數通常更容易處理。我們這樣做的理論基礎是：最大化對數似然的值 θ 也最大化似然函數。

泊松分布示例

我們繼續使用上面已經建立的泊松分布作為示例。給定數據集X₁…Xₙ，這是i.i.d.，我們認為它來自泊松(λ)分布，λ的MLE是多少?分布中的λ參數的最大似然估計是什麼?

總結一下，計算MLE的步驟如下：

1. 求似然函數；
2. 計算對數似然函數；
3. 最大化對數似然函數。

首先，我們已經建立了似然函數為：

為了計算對數似然，我們取上述函數的對數。可以通過以下步驟推導：

最後，我們最大化對數似然和簡化，就得到最大似然λ。

我們發現λ的最大似值是x的均值，或給定數據集x₁…xₙ的均值。

可以用MLE做什麼

最直觀的是給定數據集分布參數MLE，可以繼續對數據集應用統計技術，并對數據集的确切分布做出假設。這樣可以使統計分析更強大。除了數據集分布的估計參數外，MLE還有兩個很有用的重要屬性。

1. MLE 是它正在估計的參數的一緻估計量。

參數θ的估計是一緻的，如果：

為什麼會這樣呢?因為大數定律。n很大，估計與θ相差很大的概率很小。

因為MLE是它所估計的參數的一緻估計：

這告訴我們什麼？數據集越大，MLE 估計越準确。

2. MLE 是漸近正态的。

這意味着如果 MLE 估計器正在估計 θ₀（是參數 θ 的真實總體值），那麼随着 n 增加到 ∞：

要查找µ和σ2，可以使用Fisher Information等其他技術，它告訴我們更多關于 MLE 本身的分布。但這超出了本文的範圍。

總結

MLE 是一種技術，可以生成對要拟合數據的任何分布的參數的最可能估計值。估計值是通過最大化數據來自的分布的對數似然函數來計算的。本文解釋了 MLE 的工作原理和方式，以及它與 MAP 等類似方法的不同之處。還解釋了似然函數的定義以及如何推導它。最後還使用了一個從泊松分布計算 MLE 的示例，并解釋了 MLE 的兩個重要屬性，即一緻性和漸近正态性。希望這對任何學習統計和數據科學的人有所幫助！

,