信息熵的定义是?
发布网友
发布时间：2022-04-24 17:43
共2个回答
热心网友
时间：2023-10-27 16:37
所谓信息熵，是一个数学上颇为抽象的概念，在这里不妨把信息熵理解成某种特定信息的出现概率。而信息熵和热力学熵是紧密相关的。
根据Charles H. Bennett对Maxwell's Demon的重新解释，对信息的销毁是一个不可逆过程，所以销毁信息是符合热力学第二定律的。而产生信息，则是为系统引入负（热力学）熵的过程。所以信息熵的符号与热力学熵应该是相反的。
一般而言，当一种信息出现概率更高的时候，表明它被传播得更广泛，或者说，被引用的程度更高。可以认为，从信息传播的角度来看，信息熵可以表示信息的价值。这样子就有一个衡量信息价值高低的标准，可以做出关于知识流通问题的更多推论。
扩展资料
应用：
信息如果持续保持混乱，没有系统化，那么结果就是信息死亡，信息熵是解决信息处理的问题，如信息的数量变化，产生的冗余信息统计，从熵增定律来看，信息从A到B的传递，类似于能量守恒定律，总量是不变的，但会产生冗余。
人们经常会对一条信息跟帖、转发和收藏，这些行为就是在信息传递过程中的动能，结果是信息冗余越来越多，反而信息本身被关注越来越少，所以信息其实就是一个本身不断降维和冗余不断升维的过程，当冗余超过信息本身时，这条信息已经不重要了，或者从熵的角度定义为信息熵死。
参考资料来源：百度百科-信息熵
热心网友
时间：2023-10-27 16:37
