python机器学习笔记（九）：决策树之信息熵

这是我参与8月更文挑战的第5天，活动详情查看：8月更文挑战

9.1 信息熵

信息熵是信息论中的概念，在解释信息熵之前我们先来看看什么是信息。

1948年，香农(Shannon)在他著名的《通信的数学原理》论文里提到：“信息是用来消除随机不确定性的东西”。比如我们想知道今天是星期几，在没有任何信息的条件下，它可以是周一到周日中的任意一天。但如果有人告诉你今天是周末，那么就只可能是周六或周日，消除掉了今天可能是周一到周五的不确定性。

但上述的概念太过模糊，有没有一个能够量化一个事件的信息多少的公式呢？有，他就是信息量：