信息是用來消除随機不确定性的東西。也就是說，衡量信息量的大小就看這個信息消除不确定性的程度。
克勞德.香農（Claude Shannon）被稱為“信息論之父”。他一生中也許是最有名的一篇論文：《通訊的數學理論》（A mathematical theory of communications,1948），引入了一條全新的思路，震撼了整個科學技術界，開啟了現代信息論研究的先河。在這一偉大的貢獻中，他引進的“信息熵”之一般概念舉足輕重：它在數學上量化了通訊過程中“信息漏失”的統計本質，具有劃時代的意義。
信息量信息量的大小和事件發生的概率成反比。
信息量的表示：
x 表示一個發生的事件；
p 表示這個事件發生的先驗概率；先驗概率指這個事件按照常理，按照一般性規律發生的概率。
信息熵可以認為是信息的雜亂程度的量化描述。
信息熵公式如下：
其中，x 可以當成一個向量，就是若幹個 x 産生的概率p(x)乘以該可能性的信息量-logp(x)，然後各項做加和。
信息量度量的是一個具體事件發生所帶來的信息，而熵則是在結果出來之前對可能産生的信息量的期望—考慮該随機變量的所有可能取值，即所有可能發生事件所帶來的信息量的期望。
信息熵還可以作為一個系統複雜程度的度量，如果系統越複雜，出現不同情況的種類越多，那麼他的信息熵是比較大的。
如果一個系統越簡單，出現情況種類很少（極端情況為1種情況，那麼對應概率為1，那麼對應的信息熵為0），此時的信息熵較小。
小結
- 在信息可能有N種情況時，如果每種情況出現的概率相等，那麼N越大，信息熵越大。
- 在信息可能有N種情況時，當N一定，那麼其中所有概率相等時，信息熵是最大的。
簡而言之，
- 信息越确定，越單一，信息熵越小；
- 信息越不确定，越混亂，信息熵越大。
zpostcode 
Recruit 
weather 
mreligion 
Yellowpages 
sport 
constellation 
shopping 
name 
game 
directory 
literature 
Word 
tour 
furnish 
Lottery 
tftnews 
lyrics 
News 
digital 
car 
dir 
Edu 
Finance 
