単位数: 2. 担当教員: 加藤 寧, ＫＯＫＥＴＳＵ ＲＯＤＲＩＧＵＥ. 開講年度: 2024. 科目ナンバリング: TEI-PRI303J. 開講言語: 日本語 英語.
○
Google Classroomのクラスコードは工学部Webページにて確認すること。
学部シラバス・時間割(https://www.eng.tohoku.ac.jp/edu/syllabus-ug.html)
１．目的
情報通信技術の基盤理論である情報理論及び符号理論の基礎を理解する。
２．概要
情報源及び通信路の数学的な取扱い方を学び、情報源符号化と通信路符号化の原理と限界を知る。
３．達成目標等
基本的な諸定理を独自に証明できるようになること。また、情報源のエントロピーや典型的な通信路の通信容量などを独自に計算し、評価できるようになること。
The class code for Google Classroom can be found on the Web site of
the School of Engineering:
https://www.eng.tohoku.ac.jp/edu/syllabus-ug.html (JP Only)
１．Objective
To understand the basics of information theory and coding theory is a foundation of information and communications technology
２．Overview
Learn mathematical modeling of the information source and communication path, learn the principles and limitations of the information source coding and channel coding
３．Goals, etc
Through this course, it will be possible to prove the basic information theorems. In addition, it will be possible to evaluate/calculate communication capacity and entropy of typical communication channel of information sources.
情報理論は「情報の理論」そのものではないが、情報に関する基礎的かつ重要な理論の一つである。したがって、情報に関する諸学問分野を志す受講学生は、本講義では情報の量に関する様々な尺度の計算手法や情報の符号化法などのテクニックを皮相的に身につけるだけでなく、それらの手法の妥当性を裏付ける数学的な証明も同じ重みで理解しようとする骨太な姿勢が重要である。
離散数学、確率論、線形代数などに現れる概念をしばしば使うが、できるだけ予備知識を求めない形で講義を進める計画である。
Information theory is not just 'theory of communication', but it a basic and important theory pertaining to information. Therefore, students interested in various disciplines related to information will find this course useful so as not only to superficially consider techniques such as calculation methods and coding method of information but also try to understand the mathematical approach/proof to support their validity.
Discrete mathematics, probability theory, and some concept of linear algebra are used in the course. However, the lecture is planned so that minimal prior knowledge in these topics are required.
１．講義予定・概要、情報理論の応用分野
２．情報の種類、情報の表現
３．情報量とエントロピー
４．相互情報量、平均相互情報量
５．マルコフ情報源、エルゴード情報源
６．マルコフ情報源のエントロピー
７．情報源符号化、クラフトの不等式
８．符号化の基本定理
９．最短符号 ― ハフマンの符号化法
10．通信路行列、通信容量
11．通信路符号化と復号
12．通信路符号化の基本定理
13．誤り検出・訂正の原理、線形符号
14．情報理論の応用 ― 暗号系など
15．試験
１．Lecture schedule, overview, applications of information theory
２．Type of information, representation of information
３．Amount of information and entropy
４．Mutual information, average mutual information
５．Markov information source, Ergodic information source
６．Entropy of Markov information source
７．Source coding, Kraft's inequality,
８．Fundamental theorem of coding
９．Shortest code - Huffman coding
10．Channel matrix, communicaiton capacity
11．Channel coding and decoding
12．Fundamental theorem of channel coding
13．Principle of error detection and correction, linear code
14．Applicaiton of information theory (such as encryption system)
15．Test
授業時間は限られているので、自主学習が重要になる。予習・復習を必ず行うようにすること。
The session time is limited and therefore self-directed learning is important. Students are required to prepare and review for each class.
課題レポート (10%)、試験 (90%)、出欠はとらない（成績評価に使わない）
Report (10%), test (90%), attendance is not used in performance assessment
東北大学インターネットスクール（ISTU)システム
https://xapp.istu.jp/
講義終了後に講義室で受け付ける．
Questions are accepted after class.
必要に応じて資料（各章の学習の要点、証明の補足など）を配布し、ISTUシステムに載せる。