最常用的優化方法最小二乘法-tft每日頭條

在前面房價預測案例中，我們提出了如下的hypothesis function：

最常用的優化方法最小二乘法（機器愛學習03最小二乘法）1

為了确保hypothesis function足夠“完美”，我們又引入了cost function：

最常用的優化方法最小二乘法（機器愛學習03最小二乘法）2

通過前面的講解，我們知道，hypothesis function足夠“完美”，需要滿足如下條件：

最常用的優化方法最小二乘法（機器愛學習03最小二乘法）3

前面章節中，hypothesis function中的變量θ0、θ1，是我們手動算出來的，那麼機器學習算法又是如何計算這些參數的呢？

接下來，介紹一種最基本的機器學習算法：最小二乘法（Least Squares Algorithm），并介紹最小二乘法如何得到這些參數，從而使hypothesis function足夠“完美”。

介紹算法之前，我們先了解一下這個算法的曆史，加深下印象。

1801年，意大利天文學家朱賽普·皮亞齊發現了第一顆小行星谷神星。經過40天的跟蹤觀測後，由于谷神星運行至太陽背後，使得皮亞齊失去了谷神星的位置。随後全世界的科學家利用皮亞齊的觀測數據開始尋找谷神星，但是根據大多數人計算的結果來尋找谷神星都沒有結果。時年24歲的高斯也計算了谷神星的軌道。

3：函數和/差的導數為：

最常用的優化方法最小二乘法（機器愛學習03最小二乘法）4

4：函數積的導數為：

最常用的優化方法最小二乘法（機器愛學習03最小二乘法）5

5：函數商的導數為：

最常用的優化方法最小二乘法（機器愛學習03最小二乘法）6

下面分别對求θ0、θ1偏導數：

對θ0求偏導數（此時θ0作為自變量，θ1和x都作為常數處理）：

最常用的優化方法最小二乘法（機器愛學習03最小二乘法）7

對θ1求偏導數（此時θ1作為自變量，θ0和x都作為常數處理）：

最常用的優化方法最小二乘法（機器愛學習03最小二乘法）8

從偏導數的求解結果來看，兩個偏導數函數構成一個二元一次方程組，其中自變量為θ0和θ1，x(i)和y(i)都是常數，求解二元一次方程組對計算機來說，so easy！

最小二乘法内容基本就這些，下一章我們再介紹下feature比較多時，最小二乘法的變種：正規方程。

最後，為了方便大家理解，我們還是training set中的數據，代入偏導數方程，具體求解過程就不再講解。

這裡再列一下我們的training set：

最常用的優化方法最小二乘法（機器愛學習03最小二乘法）9

最常用的優化方法最小二乘法（機器愛學習03最小二乘法）10