什麼是信息中的熵-tft每日頭條

信息

信息是用來消除随機不确定性的東西。也就是說，衡量信息量的大小就看這個信息消除不确定性的程度。

什麼是信息中的熵（什麼是信息什麼是信息量）1

克勞德.香農（Claude Shannon）被稱為“信息論之父”。他一生中也許是最有名的一篇論文：《通訊的數學理論》（A mathematical theory of communications,1948），引入了一條全新的思路，震撼了整個科學技術界，開啟了現代信息論研究的先河。在這一偉大的貢獻中，他引進的“信息熵”之一般概念舉足輕重：它在數學上量化了通訊過程中“信息漏失”的統計本質，具有劃時代的意義。

信息量

信息量的大小和事件發生的概率成反比。

信息量的表示：

什麼是信息中的熵（什麼是信息什麼是信息量）2

x 表示一個發生的事件；

p 表示這個事件發生的先驗概率；先驗概率指這個事件按照常理，按照一般性規律發生的概率。

信息熵

可以認為是信息的雜亂程度的量化描述。

信息熵公式如下：

什麼是信息中的熵（什麼是信息什麼是信息量）3

其中，x 可以當成一個向量，就是若幹個 x 産生的概率p(x)乘以該可能性的信息量-logp(x)，然後各項做加和。

信息量度量的是一個具體事件發生所帶來的信息，而熵則是在結果出來之前對可能産生的信息量的期望—考慮該随機變量的所有可能取值，即所有可能發生事件所帶來的信息量的期望。

信息熵還可以作為一個系統複雜程度的度量，如果系統越複雜，出現不同情況的種類越多，那麼他的信息熵是比較大的。

如果一個系統越簡單，出現情況種類很少（極端情況為1種情況，那麼對應概率為1，那麼對應的信息熵為0），此時的信息熵較小。

小結

在信息可能有N種情況時，如果每種情況出現的概率相等，那麼N越大，信息熵越大。
在信息可能有N種情況時，當N一定，那麼其中所有概率相等時，信息熵是最大的。

簡而言之，

信息越确定，越單一，信息熵越小；
信息越不确定，越混亂，信息熵越大。