课程内容和要求

• 教材：《信息论与编码》，参考书：《信息论——基础理论与应用》
• 开卷考试，卷面占总成绩 60%，可以带计算器

简答题就简答，不要太多

信息度量和三大定理

主要计算题：信源编码和信道编码

第二章

Jensen 不等式（凹函数定义）：${\sum }_{i=1}^N{p}_i\mathrm{lb}(x_i)\le \mathrm{lb}\left({\sum }_{i=1}^N{p}_i{x}_i\right)$

第三章

联合熵与条件熵的关系：$H(X_1{X}_2{X}_3)=H(X_3|X_1{X}_2)+H(X_1{X}_2)$

第四章

平均码长是加权的，且 K 重扩展的平均码长单位为 码元/K个符号，往往要再除以 K

${\sum }_i\frac{i}{2^i}=2$：乘公比错位相减