首页
/
每日頭條
/
生活
/
什麼是信息中的熵
什麼是信息中的熵
更新时间:2025-04-02 18:55:16
信息

信息是用來消除随機不确定性的東西。也就是說,衡量信息量的大小就看這個信息消除不确定性的程度。

什麼是信息中的熵(什麼是信息什麼是信息量)1

克勞德.香農(Claude Shannon)被稱為“信息論之父”。他一生中也許是最有名的一篇論文:《通訊的數學理論》(A mathematical theory of communications,1948),引入了一條全新的思路,震撼了整個科學技術界,開啟了現代信息論研究的先河。在這一偉大的貢獻中,他引進的“信息熵”之一般概念舉足輕重:它在數學上量化了通訊過程中“信息漏失”的統計本質,具有劃時代的意義。

信息量

信息量的大小和事件發生的概率成反比。

信息量的表示:

什麼是信息中的熵(什麼是信息什麼是信息量)2

x 表示一個發生的事件;

p 表示這個事件發生的先驗概率;先驗概率指這個事件按照常理,按照一般性規律發生的概率。

信息熵

可以認為是信息的雜亂程度的量化描述。

信息熵公式如下:

什麼是信息中的熵(什麼是信息什麼是信息量)3

其中,x 可以當成一個向量,就是若幹個 x 産生的概率p(x)乘以該可能性的信息量-logp(x),然後各項做加和。

信息量度量的是一個具體事件發生所帶來的信息,而熵則是在結果出來之前對可能産生的信息量的期望—考慮該随機變量的所有可能取值,即所有可能發生事件所帶來的信息量的期望。

信息熵還可以作為一個系統複雜程度的度量,如果系統越複雜,出現不同情況的種類越多,那麼他的信息熵是比較大的。

如果一個系統越簡單,出現情況種類很少(極端情況為1種情況,那麼對應概率為1,那麼對應的信息熵為0),此時的信息熵較小。

小結

  • 在信息可能有N種情況時,如果每種情況出現的概率相等,那麼N越大,信息熵越大。
  • 在信息可能有N種情況時,當N一定,那麼其中所有概率相等時,信息熵是最大的。

簡而言之,

  • 信息越确定,越單一,信息熵越小;
  • 信息越不确定,越混亂,信息熵越大。

,
Comments
Welcome to tft每日頭條 comments! Please keep conversations courteous and on-topic. To fosterproductive and respectful conversations, you may see comments from our Community Managers.
Sign up to post
Sort by
Show More Comments
推荐阅读
儀器分析最新先進方法(26種儀器分析的原理及譜圖方法大全)
儀器分析最新先進方法(26種儀器分析的原理及譜圖方法大全)
  1.紫外吸收光譜 UV      分析原理:吸收紫外光能量,引起分子中電子能級的躍遷   譜圖的表示方法:相對吸收光能量随吸收光波長的變化   提供的信息:吸收峰的位置、強度和形狀,提供分子中不同電子結構的信息   2.熒光光譜法 FS      分析原理:被電磁輻射激發後,從最低單線激發态回到單線基态,發射熒光   譜圖的表示方法:發射的熒光能量随光波...
2025-04-02
達門助航艇價格(達門遊艇交付迄今最大助航艇)
達門助航艇價格(達門遊艇交付迄今最大助航艇)
  達門遊艇迄今為止最大的助航艇項目已經離開荷蘭,開始了她的處女航。該艇名為“Abeona”号,如果圍繞她的傳言屬實,這是一艘屬于傑夫·貝佐斯的遊艇。她于1月底離開荷蘭Vlissingen的造船廠,然後抵達直布羅陀。      自2019年9月宣布該項目以來,制造商一直對船隊的身份保密。達門遊艇表示,這艘堅固的超級遊艇完全是定制的。之前被稱為Wingman和...
2025-04-02
卡布達鐵甲小寶實力排行(最強的5個機器人)
卡布達鐵甲小寶實力排行(最強的5個機器人)
  我們小時候應該都看過鐵甲小寶這部動漫吧,今天我們就來讨論一下最強的5個機器人。   5.金龜次郎      他是個木匠,所以性格比較穩重,為人憨厚穩重,實力還不錯。   4.丸子龍      丸子龍是個像丸子一樣的機器人,身體素質非常好,雖然有點傻,但是實力很不錯。   3.卡布達      鲨魚辣椒非常強悍,為人兇狠無比,是最強的B系機器人,而且外形霸...
2025-04-02
富德m360m(批量造富德禦系)
富德m360m(批量造富德禦系)
     山西德禦坊的廠房。(南方周末記者 林見非/圖)   (本文首發于2017年11月2日《南方周末》)   翻開穩盛金融的前世今生,一群來自晉中的商人浮現出來。他們之間看似獨立卻有千絲萬縷的聯系。如今,他們的資本版圖從美股蔓延至A股和新三闆,至少控制了4家上市公司和3家挂牌公司。   買殼、質押融資以激活資金、再購買資産拉升股價、繼而釋放更多資金,如此...
2025-04-02
足球裡面的紅牌和黃牌代表什麼(足球的黃牌規則是什麼)
足球裡面的紅牌和黃牌代表什麼(足球的黃牌規則是什麼)
     足球中的黃牌是什麼意思?将其視為足球中的個人犯規處罰......除了更糟。   一張黃牌的含義可能遠遠超出當前正在進行的比賽。   就目前正在進行的比賽而言,球員一旦領到黃牌,就必須避免吃到第二張黃牌。如果裁判員出示第二張黃牌,則該裁判員也将出示紅牌。這意味着玩家被逐出遊戲。出于多種原因,這很糟糕。第一,與棒球、籃球或橄榄球不同的是,一名被驅逐出場...
2025-04-02
Copyright 2023-2025 - www.tftnews.com All Rights Reserved