情報通信理論 / Information and Communication Theory

単位数: 2. 担当教員: 川本 雄一. 開講年度: 2024. 科目ナンバリング: TEI-PRI303J.

主要授業科目/Essential Subjects

○

授業の目的・概要及び達成方法等

Google Classroomのクラスコードは工学部Webページにて確認すること。
学部シラバス・時間割(https://www.eng.tohoku.ac.jp/edu/syllabus-ug.html)

１．目的
情報通信技術の基盤理論である情報理論及び符号理論の基礎を理解する。
２．概要
情報源及び通信路の数学的な取扱い方を学び、情報源符号化と通信路符号化の原理と限界を知る。
３．達成目標等
基本的な諸定理を独自に証明できるようになること。また、情報源のエントロピーや典型的な通信路の通信容量などを独自に計算し、評価できるようになること。
４．方法
対面もしくは双方向オンライン（Google ClassroomとTeamsを利用）

授業の目的・概要及び達成方法等(Ｅ）

The class code for Google Classroom can be found on the Web site of
the School of Engineering:
https://www.eng.tohoku.ac.jp/edu/syllabus-ug.html (JP Only)

1. Purpose
Students will learn and understand information theory and coding theory for information communication technology.

2. Outline
Students will learn mathematical approach to information source and communication channel.
F2F or Online (Real-time)

他の授業科目との関連及び履修上の注意

情報理論は「情報の理論」そのものではないが、情報に関する基礎的かつ重要な理論の一つである。したがって、情報に関する諸学問分野を志す受講学生は、本講義では情報の量に関する様々な尺度の計算手法や情報の符号化法などのテクニックを皮相的に身につけるだけでなく、それらの手法の妥当性を裏付ける数学的な証明も同じ重みで理解しようとする骨太な姿勢が重要である。
離散数学、確率論、線形代数などに現れる概念をしばしば使うが、できるだけ予備知識を求めない形で講義を進める計画である。

他の授業科目との関連及び履修上の注意(Ｅ）

Information theory is one of the basic and important theories about information. It is desirable for students to learn mathematical techniques of various measures for the amount of information.

授業計画

１．講義予定・概要、情報理論の応用分野
２．情報の種類、情報の表現
３．情報量とエントロピー
４．相互情報量、平均相互情報量
５．マルコフ情報源、エルゴード情報源
６．マルコフ情報源のエントロピー
７．情報源符号化、クラフトの不等式
８．符号化の基本定理
９．最短符号 ― ハフマンの符号化法
10．通信路行列、通信容量
11．通信路符号化と復号
12．通信路符号化の基本定理
13．誤り検出・訂正の原理、線形符号
14．情報理論の応用 ― 暗号系など
15．まとめ

授業計画(Ｅ）

1. Schedule and summary
2. Information types and representation
3. Information entropy
4. Mutual information
5. Markov information source
6. Entropy of Markov information source
7. Encoding of information source
8. Basic theory of coding
9. Huffman coding
10. Channel matrix and channel capacity
11. Channel coding and decoding
12. Theorem for Channel coding
13. Error detection/correction
14. Application of information theory
15. Summary

授業時間外学習

授業時間は限られているので、自主学習が重要になる。予習・復習を必ず行うようにすること。

授業時間外学習（Ｅ）

The session time is limited and therefore self-directed learning is important. Students are required to prepare and review for each class.

成績評価方法及び基準

試験（80％程度），演習問題（20％程度）

成績評価方法及び基準(Ｅ）

Final exam. (about 80%), Practice problems. (about 20%)

教科書および参考書

• 情報論 I ― 情報伝送の理論 ―, 瀧 保夫, 岩波書店 ISBN/ISSN: ISBN4000212362 資料種別:教科書

オフィスアワー

講義終了後にe-mail等で受け付ける。

オフィスアワー（Ｅ）

Questions are accepted after class by e-mail.