特征值和特征向量可能是線性代數中最重要的概念之一。從機器學習、量子計算、物理到許多數學和工程的問題，都可以通過找到一個矩陣的特征值和特征向量來解決。

根據定義（标量λ、向量v是特征值、特征向量A）：

視覺上，Av與特征向量v位于同一直線上。

這裡有些例子。

然而,Ax通常不會等于λx。隻有一些特殊的向量滿足條件。

許多問題可以用線性變換建模，其中解決方案來自特征值和特征向量。讓我們先用一個抽象的例子來詳細說明這個問題。在許多系統中，我們可以在向量中表達屬性，其變化率線性地取決于當前屬性（例如，人口增長率線性地取決于當前人口和GDP）。一般等式是

我們來猜一下滿足上面方程的u(t)。因為一個指數函數的導數等于它本身，我們從一個t的指數函數開始然後乘以一個向量x，輸出就是一個向量。

根據上面的計算，u(t)的解是

接下來，我們将找到它的完全解。一階導數方程是一個線性函數。

對于線性函數，完全解是特定解的線性組合。如果u和v是解，則C₁u C₂v也是解。從我們之前的特征值λ= 4，-2和-2的例子中，完全解将是

在t = 0時,我們可以測量初始狀态u(0),比如說[u₀₁,u₀₂,u₀₃]ᵀ,并求解常數C₁,C₂,C₃。

讓我們用諧振子來說明這個想法。我們選擇這個例子是因為諧波振蕩器及其近親（量子諧振子）在研究粒子物理學，量子力學或物理學方面幾乎無處不在。我們從著名的F=ma方程開始用特征值和特征向量來解二階導數。由于我們确實可以自由選擇質量單位，物理學家通常設m = 1來簡化讨論，即

我們把諧振子問題重新寫成矩陣的形式。

阻尼諧振子

這與我們上一個例子的形式相同，因此，我們可以使用A的特征值和特征向量來形成完全解。

這不是一個證明特征值能力的孤立例子。著名的定态(time-independent)薛定谔方程用特征值和特征向量表示。所有觀察到的屬性都是通過量子力學中的特征值建模的。還有很多其他的例子，包括機器學習。

從根本上說，許多系統都可以建模為

讓我們再研究時間序列模型。

首先，我們假設初始狀态u 0是A的特征向量。因此，未來狀态可以計算為

簡而言之，我們可以通過用标量的幂代替矩陣（Aᵏ）的幂來簡化計算。 接下來，考慮A具有n個線性獨立的特征向量，它們構成Rⁿ的basis 。 我們可以将Rⁿ的任何向量分解為該basis，并通過再次計算特征值的幂來簡化計算。

讓我們簡化讨論，假設整個互聯網隻包含三個網頁。矩陣A的元素Aᵢⱼ是當用戶在頁面j上時用戶去頁面i的概率。

如果我們總結給定特定頁面的下一頁的所有可能性，它等于1。因此，A的所有列總和為1.0，這種矩陣稱為随機矩陣（轉移矩陣或馬爾可夫矩陣）。

馬爾可夫矩陣具有一些重要的性質。Ax或Aᵏx的結果總是其列相加的和為1。此結果表示每次點擊後分别位于第1,2和3頁的可能性。所以很明顯它的和應該是1。

任何馬爾可夫矩陣A的特征值都是1，其他特征值(正或負)的絕對值都小于1。這種行為非常重要。在我們的例子中,

對于馬爾可夫矩陣，我們可以選擇λ= 1的特征向量，使元素總和達到1.0。 元素總和為1的向量v也可以使用A的特征向量進行分解，其中c 1等于1。

由于u 1，u 2，...和un是特征向量，所以Aᵏ可以用λᵏ代替。除了特征值λ= 1之外，馬爾可夫矩陣的特征值（λᵏ）的幂将減小，因為這些特征值的絕對值小于1。 因此，無論初始狀态如何，系統都達到接近特征向量u 1的穩态。 Aᵏ和穩态都可以從特征向量u 1導出，如下所示。

在我們的例子中，我們到達第1、2和3頁的概率分别是0.41、0.34和0.44。這個概念有許多潛在的應用。許多問題可以用馬爾可夫過程和馬爾可夫/轉移矩陣來建模。

馬爾可夫過程和轉移矩陣

以谷歌聯合創始人拉裡佩奇命名的PageRanking算法也有類似的概念。它是第一個谷歌搜索排名算法，即使它現在經過大量修改，增加了排名算法，以改善用戶體驗并避免人們操縱系統。 核心概念可視化如下。PageRanking通過跟蹤到其他頁面的Web鍊接，輸出您在随機遊走後可能點擊頁面的概率分布。該概率充當網頁的排名。當很多頁面鍊接到您的網頁時，谷歌會将它排序更高，因為鍊接到網頁的頁面數量是其受歡迎程度的指标。 這意味着在随機遊走中點擊頁面的機會。

從概念上講，我們計算一個頁面排名，它等于鍊接到這個頁面的其他頁面排名的總和，除以經過某種歸一化後的出站頁面總數。

我們叠代地執行計算，直到它達到穩态。在數學上，PageRank嘗試在以下等式中求解PageRank R.

這與我們之前讨論的例子有很大的相似之處，如果我們忽略阻尼因子d。引入這個因子是因為随機遊走不會永遠持續。

對于Google，他們不直接計算特征向量。在我們前面的例子中，A的幂收斂得很快，A3的列已經收斂到本征向量u 1 。

PageRank論文證明，有3.22億個頁面鍊接，該解決方案在52次叠代中收斂到一個可容忍的極限。

馬爾可夫矩陣使我們得到下面的方程，其中穩态依賴于一個主成分。

在機器學習中，信息與原始數據糾纏在一起。 在數學上，特征值和特征向量提供了識别它們的方法。 特征向量識别成分，特征值量化其重要性。 下面的等式将A中的信息分解為成分。 我們可以基于特征值的平方根對它們進行優先級排序，并忽略具有小α值的項。 這樣可以降低噪聲并幫助我們在A中提取核心信息。

希望你現在可以看到Ax =λx的美感。 特征值和特征向量可以通過求解（A-λI）v = 0來計算。對于Ax =λx，對于v = 0以外的解，矩陣（A-λI）是不可逆的。 即它是單數的。 即它的行列式是零。 det（A - λI）= 0稱為特征多項式。 特征值是該多項式的根。

例

特征值是：

應用Av =λv：

讓我們通過一個更複雜的例子詳細說明這一步驟，

要找到特征值λ，

16的可能因數是1 2 4 8 16。

讓我們計算特征值λ= 4的特征向量，通過減少行。

我們有三個變量，有2個方程。我們将x 3任意設置為1并計算其他兩個變量。因此，對于λ= 4，特征向量是：

我們重複計算λ= -2并得到

通過3個變量和1個方程，我們的解決方案中有2個自由度。讓我們在與其他（多個）時間設定為1〜自由之一的一個度為0而設定為X 2 = 1時，X 3 = 0，和X 2 = 0，X 3 = 1分開，所計算出的特征向量是：

有3個變量和1個方程，解有2個自由度。讓我們一次把一個自由度設為1，另一個自由度設為0。 即設置x 2 = 1，x 3 = 0，x 2 = 0，x 3 = 1，計算出的特征向量為：

請注意，特征值和特征向量的解集不是唯一的。我們可以重新縮放特征向量。我們還可以為上面的x 2，x 3設置不同的值。因此，選擇我們的特征向量以滿足某些條件是可能的，也是可取的。例如，對于對稱矩陣，總是可以選擇具有單位長度并且彼此正交的特征向量。

在我們的例子中，我們有一個重複的特征值“-2”。它生成兩個不同的特征向量。然而，情況并非總是如此 - 有些情況下重複的特征值不具有多個特征向量。

假設矩陣A具有兩個特征值和特征向量。

我們可以将它們連接在一起并以矩陣形式重寫方程式。

我們可以将它推廣到任意數量的特征向量：

其中V連接所有特征向量，Λ（λ的大寫字母）是包含特征值的對角矩陣。

矩陣A一個是可對角化的（如果我們可以把它轉換成一個對角矩陣），

即

如果n×n矩陣具有n個線性獨立的特征向量，則它是可對角化的。如果矩陣是對稱的，則它是可對角化的。如果矩陣沒有重複的特征值，它總是生成足夠的特征向量來對向量進行對角化。如果沒有，則無法保證。

如果A是一個具有N個線性獨立特征向量的矩形矩陣（v 1，v 2，...＆vn和相應的特征值λ1，λ2，...和λn），我們可以重新排列

成

例如，

• Ax與特征向量x在同一直線上(方向相同或相反)。
• 特征值的和等于矩陣的迹(對角元素的和)。
• 特征值的乘積等于行列式。
• 如果沒有特征值重複，所有特征向量都是線性無關的。
• 如果特征值是重複的，我們可能有也可能沒有足夠的線性無關的特征向量來對角化一個方陣。
• 正特征值的數量等于正pivots的數量。
• 對于Ax =λx，

• 如果A是奇異的，它的特征值是0。可逆矩陣的所有特征值都是非零的。
• 特征值和特征向量可以是複數。
• 投影矩陣的特征值始終僅為1和0。反射矩陣的特征值為1和-1。

因為很難看到超過3個維度的任何東西。 此處的示例保留2維。 假設v 1和v 2是2×2矩陣A的線性無關特征向量。任何向量都可以在v 1和v 2方向上分解為components 。 當我們将A與特征向量相乘時，結果在特征向量的同一條線上。 如果特征值為正，則它将向量按特征值在相同方向上縮放。 否則，它會向相反方向縮放向量。

因此，對于下面紅色單位圓上的所有點，都将轉換為橢圓上的點。但是對于非特征向量，它不會在原向量的同一條直線上。當我們繼續将結果與A相乘時，結果會更接近特征向量。

在這種可視化中有一件非常重要的事情。變換後的單位向量（Ax）的最大範數（長度）小于或等于最大特征值。另一方面，範數大于或等于最小特征值，即

事實上，這可以很容易地在下面看到。

目标或成本函數通常以xᵀAx的二次形式表示。假設m×n矩陣A保持n個主體的屬性。AAᵀ保持這些屬性之間的關系，這個矩陣S是對稱的。

特征值和特征向量可以幫助我們改變不同方向的特征。具有最大值的特征向量向我們顯示這些屬性之間的相關性。這些概念可以在SVD和PCA看到。