理解shannon信息论中的自信息量

看了好多书，自信息量只是直接给出公式，也没有说明这公式是如何来的。我觉得会有不少人一看到有log的出现就已经怕了，不会再往下看，其实自己推一下，就知道，其实原来是这样的意思。

 

 

怕了吧，又有log，又有负号，其实如果直接看这条式子，还真不知自信息量是什么意思，那我们推一推：

 

看到了吧，其实不太难的高中数学就可以了。要说明一下，10是什么，I（a），P（a）又是什么? I（a），其实不用说了，它就是我们要求的东西，shannon命其名为自信息量；P（a），是概率，还记得吗，shannon的这个理论就是基于概l率的uncertainty来计算信息量的，也可以认为某一个词被先中的概率；公式中的10，它是指10进制，其实是可以换的，可以换成其它的值，如果是二进制就是2，三进制就是3等等，意思是指如果用10进制码来表示的话，就需要I（a）位！（理解了吧，一个很的例子，如果用二进制表示的话，并且有3位二进制，即“111”，那这里就是有2的3次方这么多组合。）

 

哦，所以回想一下，I（a）其实就是求出在某种进制编码中需要的位数，这个就叫做自信息量！理解了自信息量之后，信息量就好理解了就是把所有可能会出现的情况都考虑进去。

 

 

 

还有其它的条件熵，互信息量之类的，也是其于这样的基础推出来的。