<aside> 📖 熵 Entropy

原意：一个系统不受外部干扰时往内部稳定状态发展的特性。

信息论中：熵是接受的每条消息中包含的信息的平均值。又被称为信息熵、信源熵、平均自信息量。可以被理解为不确定性的度量，熵越大，信源的分布越随机。

</aside>

1. 信息与熵

<aside> 📖 信息熵公式

消息m的熵为：

$$ H(m)=H(p_1,p_2,…,p_n)=-\sum_{i=1}^n{p_i\cdot\log_2{p_i}} $$

</aside>

<aside> 📖 信息熵性质

1. 单调性：
   • 发生概率越高的事件，其携带的信息量越低
   • 单调性也暗含了一种对含量的先验假设，即默认某些事实是不含信息量的，这其实是把默认情况的信息量定标为 $\bar 0$ 了
2. 非负性：
   • 信息熵可以看作为一种广度量，非负性是一种合理的必然
3. 累加性：
   • 即多随机事件同时发生存在的总不确定性的量度是可表示为各事件不确定性的量度的和，这也是广度量的一种体现。 </aside>