发布网友
发布时间:2022-04-24 17:43
共1个回答
热心网友
时间:2023-10-27 16:37
所谓信息量是指从N个相等可能事件中选出一个事件所需要的信息度量或含量,也就是在辩识N个事件中特定的一个事件的过程中所需要提问是或否的最少次数.
香农(C. E. Shannon)信息论应用概率来描述不确定性。信息是用不确定性的量度定义的.一个消息的可能性愈小,其信息愈多;而消息的可能性愈大,则其信息愈少.事件出现的概率小,不确定性越多,信息量就大,反之则少。
信息现代定义。[2006年,医学信息(杂志),邓宇等].
信息是物质、能量、信息及其属性的标示。逆维纳信息定义
信息是确定性的增加。逆香农信息定义
信息是事物现象及其属性标识的集合。2002年
在数学上,所传输的消息是其出现概率的单调下降函数。如从64个数中选定某一个数,提问:“是否大于32?”,则不论回答是与否,都消去了半数的可能事件,如此下去,只要问6次这类问题,就可以从64个数中选定一个数。我们可以用二进制的6个位来记录这一过程,就可以得到这条信息。
信息多少的量度。1928年R.V.L.哈特莱首先提出信息定量化的初步设想,他将消息数的对数定义为信息量。若信源有m种消息,且每个消息是以相等可能产生的,则该信源的信息量可表示为I=logm。但对信息量作深入而系统研究,还是从1948年C.E.香农的奠基性工作开始的。
信息的统计特征描述是早在1948年香农把热力学中熵的概念与熵增原理引入信息理论的结果。先行考察熵增原理。热力学中的熵增原理是这样表述的:存在一个态函数-熵,只有不可逆过程才能使孤立系统的熵增加,而可逆过程不会改变孤立系统的熵。从中可以看出:一、熵及熵增是系统行为;二、这个系统是孤立系统;三、熵是统计性状态量,熵增是统计性过程量。讨论信息的熵表述时,应充分注意这些特征的存在。并且知道,给定系统中发生的信息传播,是不可逆过程。
在信息论中,认为信源输出的消息是随机的。即在未收到消息之前,是不能肯定信源到底发送什么样的消息。而通信的目的也就是要使接收者在接收到消息后,尽可能多的解除接收者对信源所存在的疑义(不定度),因此这个被解除的不定度实际上就是在通信中所要传送的信息量。因此,接收的信息量在无干扰时,在数值上就等于信源的信息熵,式中P(xi)为信源取第i个符号的概率。但在概念上,信息熵与信息量是有区别的。信息熵是描述信源本身统计特性的一个物理量。它是信源平均不定度,是信源统计特性的一个客观表征量。不管是否有接收者它总是客观存在的。信息量则往往是针对接收者而言的,所谓接收者获得了信息,是指接收者收到消息后解除了对信源的平均不定度,它具有相对性。对于信息量的说明须引入互信息的概念。
在信息论中,互信息的定义是:I(X;Y)=H(X)-H(X|Y),数式右边后一项称为条件熵,对离散消息可表示,它表示已知Y以后,对X仍存在的不定度。因此,互信息I(X;Y)是表示当收到Y以后所获得关于信源X的信息量。与互信息相对应,常称H(X)为自信息。互信息具有三个基本性质。
①非负性:I(X;Y)≥0,仅当收到的消息与发送的消息统计独立时,互信息才为0。
②互信息不大于信源的熵:I(X;Y)≤H(X),即接收者从信源中所获得的信息必不大于信源本身的熵。仅当信道无噪声时,两者才相等。
③对称性:I(X;Y)=I(Y;X),即Y隐含X和X隐含Y 的互信息是相等的。
对于连续信源的互信息,它仍表示两个熵的差值,所以也可直接从离散情况加以推广,并保持上述离散情况的一切特性,即 实际信源是单个消息信源的组合,所以实际信源的互信息I(X;Y)也可以直接从上述单个消息的互信息I(X;Y)加以推广,即I(X;Y)=H(X)-H(X│Y)。配图相关连接