在本系列中,我們用彩色 Latex 筆記記錄下 MIT 18.06 Gilbert Strang 教授經典的線性代數課程的精髓,部分内容也會以動畫和代碼的形式。後續會覆蓋更多人工智能所涉及的數學基礎課程:統計,優化等,歡迎大家關注和反饋。
本文總結了方程組的行視角,列視角的幾何意義;并回顧了解方程的兩個步驟:消元和回代。内容對應于MIT 18.06 Gilbert Strang 線性代數視頻課程第一,二節。
本系列鍊接如下
矩陣乘法的五種理解 - Strang MIT 18.06 線性代數精髓 1
方程組兩種幾何解釋二元方程組來看一個具體的二元線性方程組
寫成矩陣形式
行視角
回顧 2x -y = 0為所有滿足此條件的 (x, y) 的集合,即集合組成二維平面的一條直線,如下圖藍線所示。
-x 2y = 3則對應綠線。
因此方程組的解 x = 1, y = 2 為兩條直線的交點,這就是方程組的行視角:将系數矩陣按行切分,則每一行表示一個約束條件,幾何意義是N維空間的一個子空間。在二元方程中,一行表示一條線,三元方程中,一行表示一個平面(詳見後一小節)。
列視角
若将系數矩陣按列切分,則每一列表示一個向量,方程組的解 (x, y) 表示每個列向量以 x, y 為權重的線性組合剛好形成 b 向量。這個就是方程組 Ax = b 有解的條件:b 在 A 的列空間,此時,x 為 列向量的組合系數。
三元方程組行視角
對于三元方程組行視角來說,每一行的方程組成一個三維空間中的一個平面。解是三個平面的交點,通常來說為一個點。
圖片來自 Introduction to Linear Algebra for Applied Machine Learning with Python (https://pabloinsente.github.io/intro-linear-algebra),解為一直線而非一個點。
列視角
三元列視角下,A 的列向量為三維平面的一個向量,x(下圖為 w) 表示每個列向量取多少倍數可以組成 b 向量。
解方程的步驟
總結了二元三元方程組的行和列視角後,我們回顧求解方程的具體步驟。用兩個過程,消元和回代便可以解得方程。
- 消元的目的是将系數矩陣表示成變量依次依賴的上矩陣形式 (Upper Triangular Matrix)。
- 回代則在上矩陣的基礎上依次解得每個分量的值。
舉個三元方程組為例
寫成矩陣形式為
消元過程
在消元過程中,有兩類操作,一是将上一行乘以某系數後被下一行減去,依次消除這一行的元。第二類操作是交換當前行和後面某行,行交換用于當某行對應的元已經為0的情況下。
以上述三元方程為例,第二行消元的具體過程為第二行減去3倍的第一行。接着,再進行第三行消元。
最終,上矩陣為
回代過程
回代過程比較直白,由上矩陣 U 對應方程組
自下向上,容易解得
消元的行視角意義
注意到消元時的兩類操作都不改變系數矩陣的行空間,隻是改變了行空間的線性組合方式。
由于每一行代表一個拘束子空間,因此每一次消元改變了該行的拘束子空間。
舉個例子,對于二元方程組和行空間
對應了兩條直線
第二行的 x 消除後其幾何意義為:藍色直線不變,綠色直線從包含 x 的成分變成不含 x 成分,并且維持交點 (1, 2)不變。
最後大家可以思考一下一個問題:消元對于列視角的幾何意義是什麼呢?
博客原文鍊接,電腦端或手機非微信浏覽器中查看效果更好。或點擊閱讀原文可以在微信浏覽器中打開,首次打開公式渲染需要時間,請耐心等待。
https://myencyclopedia.top/blog/zh/2022/linear-algebra-strang-02-solving-equations/
https://myencyclopedia.github.io/zh/2022/linear-algebra-strang-02-solving-equations/
喜歡的話就點贊關注 MyEncyclopedia 公衆号 吧
MyEncyclopedia 帶您領略深度學習,強化學習,算法,數學,大數據等前沿科技的交叉魅力 66篇原創内容
,