信息论起源于两个重要的问题：如何压缩地表示信息以及如何在有噪声时可靠地传输信息。本课程的教学目的就是通过对通信系统中信息理论的介绍，使学生们更深入地了解信息的概念和本质，掌握熵、相对熵、互信息等重要概念。本课程以香农信息论为基础，着重介绍了信源编码、信道编码和率失真的理论基础。还介绍了信息论中的一些其他概念，如渐近均分性、熵率、微分熵等等。最后，课程引入信息论在解决信息安全领域一些问题中的应用，从而拓宽学生的相关知识面，为其之后的学术研究工作指引方向。
Information theory arises from two important problems: How to represent information compactly, and how to transmit information reliably in the presence of noise. The purpose of the course is to offer students a deeper understanding of the essence of information and some fundamental concepts such as entropy, relative entropy, and mutual information, by introducing information theories in the communication system. Based on the Shannon theory, the course mainly introduces the theories of source coding, channel coding and rate distortion. Other concepts, such as asymptotic equipartition property, entropy rate, and differential entropy, are also introduced. Finally, the course also introduces applications of information theory in dealing with problems in the field of information security. It is helpful to widen the students' eyes and can therefore guide their future research.
《信息论基础》（原书第2版）（美）Thomas M. Cover， Joy A. Thomas 著，阮吉寿 张华 译，机械工业出版社（
pdf版本下载）
《信息论基础》（原书第2版）勘误（2023年3月1日更新）（pdf版本下载）
《Elements of Information Theory》（美）Thomas M. Cover， Joy A. Thomas 著，Wiley-InterScience（pdf版本下载）
《信息论与编码》 姜丹 著，中国科技大学出版社
概率论学习资料整理（pdf版本下载）
学时：40学时（1-10周），32学时上课，6学时习题课、复习和答疑，2学时考试
课后作业：每周二放至教室最后一排，等助教来收取，下周二前发回
评分标准：
期末考试：60分
课后作业：32分，共8次作业，每次满分4分
平时表现：8分
注意：抄作业，该次作业按0分计；迟交作业，该次作业满分2分
重要通知比如考试和习题课安排会及时放在主页上，请同学们多多关注！
第二周第一次作业：2.7(a)，2.10(a)，2.18，2.40
第二周第二次作业：2.12，2.23，2.35，2.39
第三周第一次作业：2.15，2.29，2.32，2.42
第三周第二次作业：3.4，3.5，3.9(a)，3.13(a,b)
(注意：3.13题，书上表中的数据有问题，请自己算)
第四周第一次作业：4.7(a)-(d)，4.9，4.18，4.22
第五周第一次作业：5.3，5.8，5.18，5.37
第五周第二次作业：5.4，5.16，5.25，5.32，6.1，6.8
(注意：5.25题，应该是p1>p2)
第六周第一次作业：7.2，7.4，7.7，7.12，7.26
第七周第一次作业：7.1，7.19，7.20，7.31，7.32
(注意：7.32题，可以直接用7.28题的结果)
第八周第一次作业：8.1，8.4
第八周第二次作业：8.3(a,b)，8.8，8.9
第九周第一次作业：9.2，9.3，9.5
(注意：9.2题，公式(9-173)中矩阵K有误，请参照《信息论基础》（原书第2版）勘误)
第九周第二次作业：9.6，9.7，9.14，9.15，9.21
第十周第一次作业：10.2，10.5，10.7
第十一周第一次作业：10.8，10.14，10.18
重要通知
通知：因临时需要出差，3月21日（星期四）的课程暂停一次，不另外补课，后续课程顺延。
通知：因临时需要出差，4月25日（星期四）的课程暂停一次，不另外补课，后续课程顺延。
通知：4月28日（星期日）上5月2日（星期四）的课，上午第1-2节课。
第一章、第二章（2024.3.4更新）第一章&第二章.pdf
第三章（2024.3.4更新）第三章.pdf
第四章（2024.3.4更新）第四章.pdf
第五章、第六章（2024.3.4更新）第五章&第六章.pdf
第七章（2024.3.4更新）第七章.pdf
第八章（2024.3.4更新）第八章.pdf
第九章（2024.3.4更新）第九章.pdf
第十章（2024.3.4更新）第十章.pdf
末章（2024.3.4更新）末章.pdf
复习纲要（2024.3.4更新）复习纲要.pdf
刘斌老师：flowice@ustc.edu.cn（邮箱）
西区科技实验楼西楼1711（办公室）
0551-63606597 （电话）
高新校区一号学科楼A532（办公室）
助教 高源：wazs98@mail.ustc.edu.cn
助教 郭俊荣：gjr13754822885@mail.ustc.edu.cn
助教 王卓丰：wzf0303@mail.ustc.edu.cn
附件： 第一章&第二章.pdf
