由熵得知的信息


  此刻的你,接受着我产生的文字,但你知道我所传递的内容不是这些文字本身,而是信息。我们时时刻刻都在获取信息、讨论信息,然而到底什么是信息呢?
  当一件事情(宏观态)有多种可能情况(微观态)时,这件事情(宏观态)对某人(观察者)而言具体是哪种情况(微观态)的不确定性叫做熵(entropy),而能够消除该人对这件事情(宏观态)不确定性的的事物叫做信息。
  熵和信息的数量相等,意义相反,获取信息意味着消除不确定性——也就是熵。比如,小方不会一道数学选择题(正确答案是C),正确答案(宏观态)是A、B、C、D四个选项中哪一个(4个微观态)的不确定性就是熵。这里,正确答案也叫宏观态,而每个有可能的选项都是微观态;宏观态是不考虑内部细节的状态,而微观态是考虑具体细节的状态;熵在A、B、C、D所有可能情况(宏观态)都是等概率(25%)时最大,在确定C(实际情况)时100%后最小。
  能够消除不确定性的信息有三种类型,他们本质都是正确的调整每个情况(微观态)的概率。
  第一种,可以正确的调整实际概率。比如小黄告诉小方“有一半可能性是C选项”,这句话帮助小方将C选项的概率调整到了50%,熵就降低了。
  第二种,能正确地排除某件事情的干扰情况。如小黄告诉小方“D选项是错的”,这句话帮助小方将D选项的概率调整到了0%,这时小方只需要从A、B、C这3种情况里确定实际情况即可,在此基础上,小红再告诉小方“A选项是错的”,这时小方只需要从B、C这两种情况里确定实际情况即可,在此基础上,在此基础上,再有人告诉小方“B选项是错误的”,就只剩下一种情况了,熵完全消失。
  第三种,能够直接确定某件事情的实际情况。比如小黄告诉小方“正确答案是C”,将C选项的概率调整到了100%,这句话直接帮助小方从4种等概率情况里确定了实际情况,熵完全消失。
  但小黄告诉小方“肯定是ABCD里的一项”,这句话就没有帮助小方消除任何不确定性。在这种定义下,并没有假信息一说,只有能够消除某人对某件事情的不确定性的事物才是信息,因此小黄告诉小方“正确答案是D”提供的信息是0(非信息,连假信息都不是),那些不能够消除某人对某件事情不确定性的事物被称为数据或噪音,只获取了噪音的观察者,他对某个问题的熵是不变的。


文章作者: Fyihang
版权声明: 本博客所有文章除特別声明外,均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来源 臆想梦境 !
  目录