问答文章1 问答文章501 问答文章1001 问答文章1501 问答文章2001 问答文章2501 问答文章3001 问答文章3501 问答文章4001 问答文章4501 问答文章5001 问答文章5501 问答文章6001 问答文章6501 问答文章7001 问答文章7501 问答文章8001 问答文章8501 问答文章9001 问答文章9501

信息量的简介

发布网友 发布时间:2022-04-24 17:43

我来回答

1个回答

热心网友 时间:2023-10-27 16:37

所谓信息量是指从N个相等可能事件中选出一个事件所需要的信息度量或含量,也就是在辩识N个事件中特定的一个事件的过程中所需要提问是或否的最少次数.
香农(C. E. Shannon)信息论应用概率来描述不确定性。信息是用不确定性的量度定义的.一个消息的可能性愈小,其信息愈多;而消息的可能性愈大,则其信息愈少.事件出现的概率小,不确定性越多,信息量就大,反之则少。
信息现代定义。[2006年,医学信息(杂志),邓宇等].
信息是物质、能量、信息及其属性的标示。逆维纳信息定义
信息是确定性的增加。逆香农信息定义
信息是事物现象及其属性标识的集合。2002年
在数学上,所传输的消息是其出现概率的单调下降函数。如从64个数中选定某一个数,提问:“是否大于32?”,则不论回答是与否,都消去了半数的可能事件,如此下去,只要问6次这类问题,就可以从64个数中选定一个数。我们可以用二进制的6个位来记录这一过程,就可以得到这条信息。
信息多少的量度。1928年R.V.L.哈特莱首先提出信息定量化的初步设想,他将消息数的对数定义为信息量。若信源有m种消息,且每个消息是以相等可能产生的,则该信源的信息量可表示为I=logm。但对信息量作深入而系统研究,还是从1948年C.E.香农的奠基性工作开始的。
信息的统计特征描述是早在1948年香农把热力学中熵的概念与熵增原理引入信息理论的结果。先行考察熵增原理。热力学中的熵增原理是这样表述的:存在一个态函数-熵,只有不可逆过程才能使孤立系统的熵增加,而可逆过程不会改变孤立系统的熵。从中可以看出:一、熵及熵增是系统行为;二、这个系统是孤立系统;三、熵是统计性状态量,熵增是统计性过程量。讨论信息的熵表述时,应充分注意这些特征的存在。并且知道,给定系统中发生的信息传播,是不可逆过程。
在信息论中,认为信源输出的消息是随机的。即在未收到消息之前,是不能肯定信源到底发送什么样的消息。而通信的目的也就是要使接收者在接收到消息后,尽可能多的解除接收者对信源所存在的疑义(不定度),因此这个被解除的不定度实际上就是在通信中所要传送的信息量。因此,接收的信息量在无干扰时,在数值上就等于信源的信息熵,式中P(xi)为信源取第i个符号的概率。但在概念上,信息熵与信息量是有区别的。信息熵是描述信源本身统计特性的一个物理量。它是信源平均不定度,是信源统计特性的一个客观表征量。不管是否有接收者它总是客观存在的。信息量则往往是针对接收者而言的,所谓接收者获得了信息,是指接收者收到消息后解除了对信源的平均不定度,它具有相对性。对于信息量的说明须引入互信息的概念。
在信息论中,互信息的定义是:I(X;Y)=H(X)-H(X|Y),数式右边后一项称为条件熵,对离散消息可表示,它表示已知Y以后,对X仍存在的不定度。因此,互信息I(X;Y)是表示当收到Y以后所获得关于信源X的信息量。与互信息相对应,常称H(X)为自信息。互信息具有三个基本性质。
①非负性:I(X;Y)≥0,仅当收到的消息与发送的消息统计独立时,互信息才为0。
②互信息不大于信源的熵:I(X;Y)≤H(X),即接收者从信源中所获得的信息必不大于信源本身的熵。仅当信道无噪声时,两者才相等。
③对称性:I(X;Y)=I(Y;X),即Y隐含X和X隐含Y 的互信息是相等的。
对于连续信源的互信息,它仍表示两个熵的差值,所以也可直接从离散情况加以推广,并保持上述离散情况的一切特性,即 实际信源是单个消息信源的组合,所以实际信源的互信息I(X;Y)也可以直接从上述单个消息的互信息I(X;Y)加以推广,即I(X;Y)=H(X)-H(X│Y)。配图相关连接

声明声明:本网页内容为用户发布,旨在传播知识,不代表本网认同其观点,若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。E-MAIL:11247931@qq.com
狐外婆是什么意思? ...都流,有几年了,吃香蕉水果时也流,到底什么原因啊,维生素c也补了也没... 我的牙龈经常出血,刷牙出得最凶,有时候吃香蕉都会出血,请问是什么原 ... 如何通过社交软件添加好友? 过年送礼送购物卡合适吗? 林上的UV能量测试仪的自动和手动模式有什么区别啊?什么情况下用的... 什么是建设银行金卡 建行信用金卡有什么好处 紫外测试仪UV能量计常见问题解答 020028什么卡 信息论与编码复习总结 什么是信源在允许一定失真的条件下,信源熵所能压缩的极限 信息熵的定义是? 当随机变量x与y独立时条件自信息量的公式会变成什么样 平均自信息量和平均互信息量的定义,以及两个概念的异同 事件的自信息量和该事件的不确定度之间的区别 信息的自信息量如何计算 自信息量的介绍 周公解梦:梦见在一个土洞里有好几个小动物,我拿出一个又害怕它咬我,这是什么 早上做梦梦到10多个小男孩好不好 我梦到好几只小蛤蟆是怎么回事? 昨晚做梦梦见生了五个小男孩 我做梦梦见好多好小好小的虫子爬到我身上 很难受 为什么会做这种梦 有没有什么特殊的意思 晚上做梦梦见很多老鼠是怎么回事,一个大的,很多小的 做梦梦到梦里有几个小伙伴一起去探险? 做梦梦见被几个小乞丐缠着要钱好吗? 做梦梦见自己生小孩了,生了好几个很小的小孩 找靓机如何清水? 怎样清用清水清洗脏旧钱币 怎样清水煮猪肚 信息论与编码姜丹第三版答案 据统计,26个字母中E的概率最大,约为0.105,试求,该字母的自信息量 如何证明两个事件之间互信息不可能大于其中任一事件的自信息量 狭义信息论 2014信息论复习题 苹果11跟12建议买哪个? 菌菇煲怎么做? 小米炖菌菇怎么做 菇小排汤的做法步骤图,菌菇小排汤怎么做好 移动的家庭短号什么意思? 什菌菇煲的做法,什菌菇煲怎么做好吃,什菌菇煲 中国移动家庭短号怎么开 移动公司的家庭短号怎么计费的? 怎么做菌菇汤 中国移动的家庭短号怎么开通? 如何炖磨菇菌汤 怎么开通中国移动短号家庭网 中国移动家庭短号如何收费 菌菇炖鸡汤怎么做 哪一年全国*通过了《保险法》这是建国以来中国的第一部保险基本法?