在上篇文章中我們介紹了下通信系統，按照信道中傳輸的是模拟信号還是數字信号，通信系統可分為模拟通信系統和數字通信系統；此外我們還介紹了廣播、點-點、單工通信、半雙工通信、全雙工通信、并行傳輸、串行傳輸這些通信方式。在這篇文章裡，我們将介紹信息量和平均信息量

上文鍊接：《通信原理》（1）：初識通信系統

通信的目的在于傳輸信息，傳輸信息的多少可用“信息量”來進行衡量，信息量是對消息中“不确定性”的度量。我們先來看個例子：

中國男子乒乓球隊獲得冠軍 中國男子足球隊獲得冠軍

顯然，這兩條信息發生的概率完全不同，一個接近1，一個幾乎為0（狗頭保命），那麼哪條信息包含的信息量大呢？答案是第二條消息中信息量與消息發生的概率相關，消息出現的概率越小，消息中包含的信息量就越大，且概率為零時（不可能發生事件）信息量為無窮大，概率為1時（必然事件）信息量為0。所以大家知道為什麼第二條信息量更大了吧

現在我們用函數的方式來表示信息量I與消息出現概率P(x)之間的關系：

消息出現的概率越小，所含信息量越大，反之信息量越小：

若幹個互相獨立事件構成的消息，其所含信息量等于各獨立事件信息量的和

信息量I與消息出現的概率P(x)之間的關系為：

其中，信息量的單位與對數底數a有關：

• a=2時， 信息量的單位為比特(bit)
• a=e時， 信息量的單位為奈特(nit)
• a=10時，信息量的單位為叫哈特萊(hartley)

來看一道例題：例：設不同進制離散信源，試計算二進制符号等概率(以相等的概率發送數字0或1)和多進制(M進制)等概率時每個符号的信息量

由此可以得到：

• 傳送等概率的二進制波形之一的信息量為1比特
• 傳送等概率的四進制波形之一的信息量為2比特
• 傳送等概率的八進制波形之一的信息量為3比特

平均信息量等于各個符号信息量乘以各自出現的概率之和，描述每個符号所含信息量的統計平均值

設離散信源是一個由n個符号組成的符号集，每個符号xi(i=1,2,…,n)出現概率為P(xi)，且ΣP(xi)=1, 則平均信息量為：

與熱力學中的熵形式一樣，所以稱它為信息源的熵，單位為bit/符号

當離散信息源中的每個符号等概率出現時，而且各符号的出現為統計獨立時，該信息源的信息量最大，此時最大熵（平均信息量）為：

下面來看兩道例題：例1：設由5個符号組成的信息源，其相應概率為

試求信源的平均信息量

解：利用平均信息量公式得：

如果5個符号等概率出現時，平均信息量為：

可以看到平均信息量的确更大

例2：設一離散信源由0， 1， 2， 3四個符号組成，它們出現的概率分别為3/8, 1/4, 1/4, 1/8，且每個符号的出現都是獨立的。試求某消息201020130213001203210100321010023102002010312032100120210的信息量以及每個符号的平均信息量

解：方法1：求消息中每個符号的個數，然後再乘以其信息量，最後求和

很明顯，當符号數目巨大時，這種方法并不合适，一個一個的數工作量太大了

方法2：先求平均信息量，再乘以符号總數

可見，兩種算法結果有一定誤差，但當消息很長時，用熵的概念來計算比較方便，随着消息序列長度的增加，兩種計算誤差将趨于零

對于連續消息，信息論中有一個重要結論，就是任何形式的待傳信息都可以用二進制形式表示而不失主要内容。抽樣定理告訴我們：一個頻帶受限的連續信号，可以用每秒一定數目的抽樣值代替，而每個抽樣值可以用若幹個二進制脈沖序列來表示。因此，以上信息量的定義和計算同樣适用于連續信号

信源熵（平均信息量）：