信息量

任何信息都有一个含量大小的问题。信息量的大小取决于载荷信息的消息的不肯定程度，消息的不肯定程度大则发出的信息量就大，消息的不肯定程度小则发出的信息量就小。信息量的大小可用被消除的不肯定性的多少来表示，而不肯定性的多少可以用概率来描述。这是因为，任何消息都具有极大的随机性，即在获得消息之前并不知道发生的消息是什么。如果事先就确切地知道消息的内容，那么消息中所包含的信息量就等于零。

由于消息的不肯定程度由随机性产生的，因而消息的不肯定程度要依赖于它在整个消息集合中发生的概率。

信息量的单位叫比特(bit，二进位数字，是binavy digits的缩写)。一比特的信息量，就是指含有两个独立等概率状态的事件所具有的不确定性，能够全部被消除所需要的信息。最简单的消息是二中择一的消息，即这种消息中只有两种可能性，非此即彼。例如，判断“男和女”、“是与非”、“来与不来”等，两者的可能性都是相等的。这时消息的平均信息量是一，单位是比特。

信息的定义公式可写成：

这里，Xi代表第i个状态(总共有几个状态)，P(Xi)代表出现第i个状态的概率，H(X)就是用以消除这个系统的不肯定性所需的信息量。