首页 » 7788 »

自信息和信息熵

2019年1月7日 / 9次阅读
老男孩学数学

打开支付宝首页,搜索“529018372”,即可领取红包!可重复领。

自信息概念来自克劳德·香农提出的信息论,是与概率空间中的单一事件或离散随机变量的值相关的信息量的量度。

自信息的定义为:一个随机事件所包含的自信息数量,只与事件发生的概率相关。

随机事件发生的概率越低,在事件真的发生时,所传递出来的信息量就越大

此外,根据定义,自信息的量度是正的而且是可加的。

如果事件 C 是两个独立事件 A 和 B 的交集,那么宣告 C 发生的信息量就等于分别宣告事件 A 和事件 B 的信息量的和:I(A ∩ B)=I(A)+I(B).

所以,考虑以上的性质,就定义了自信息,用 I 表示: 假设事件A发生的概率为P(A),则自信息符号定义为:

$$I(A)=-\log (P(A))$$

注意:在以上定义中,没有指定对数的基底。如果以 2 为底,单位是bit。当使用以 e 为底的对数时,单位将是 nat。对于基底为 10 的对数,单位是 hart。

根据以上公式,我们可以得出:

$$I(\Omega)=0$$

$$I(\emptyset)=\infty$$

对随机事件所包含的信息的度量,是人为定义一种合理的度量方式,它就像我们确定一斤一两到底是多重一样,需要人设一个一斤一两的标准。

 

信息熵:用一句话说,为随机事件x的自信息的期望就是信息熵,它是一个事件的不确定性的度量。它的符号定义为:

$$H(x)=E(I(x))=E(-\log P(x))$$

所有事件等概率时,信息熵值最高。(可以对照想一想Cost函数中的交叉熵公式)

本文链接:http://www.maixj.net/misc/zixinxi-19877
云上小悟 麦新杰(QQ:1093023102)

相关文章

评论是美德


前一篇:
后一篇:

栏目精选

云上小悟,麦新杰的独立博客

Ctrl+D 收藏本页

栏目

AD

ppdai

©Copyright 麦新杰 Since 2014 云上小悟独立博客版权所有 备案号:苏ICP备14045477号-1。云上小悟网站部分内容来源于网络,转载目的是为了整合信息,收藏学习,服务大家,有些转载内容也难以判断是否有侵权问题,如果侵犯了您的权益,请及时联系站长,我会立即删除。

网站二维码
go to top