第0章：概率论基础

第一章：引论

通信系统模型

通信系统的基本任务要求

• 可靠：要使信源发出的消息经过传输后，尽可能准确的、不失真或限定失真地再现在接收端。
• 有效：用尽可能短的时间和尽可能少的设备来传输最大的消息。

信息、消息和信号

• 信息：一个抽象的概念，可以定量的描述。信息、物质和能量是构成一切系统的三大要素。
• 消息：是信息的载体，相对具体的概念，如语言、文字、数字、图像。
• 信号：表示信息的物理量，电信号的幅度、频率、相位等。

信源的分类

• 连续信源：是指发出在时间和幅度上都是连续分布的连续消息的信源，如图像、图形等都是连续消息。
• 离散信源：是指发出在时间和幅度上都是离散分布的离散消息的信源，如文字、数字、数据等符号都是离散消息。

信息论的基本任务

• 设计有效且可靠的通信系统。

信息论的局限性

香农信息论适用于能够进行定量描述的信息，对难于进行定量描述的信息是无能为力的。

第二章：熵及其性质

自信息 I(xi)

1. 自信息应当满足的性质

• 非负性
• 概率越大的事，其自信息越小。
• 概率为1，自信息为0，概率为0，自信息为无穷大。
• 两个独立事件的联合信息量等于它们分别的信息量之和。

2. 自信息的公式及意义。

3. 自信息量的单位

4. 自信息例题

离散信源的信息熵H(X)

自信息的数学期望为信源的平均信息量。

1. 信息熵例题

2. 信源熵的意义

3. 联合熵与条件熵


4. 条件熵例题

5. 联合熵与条件熵之间的推导公式