情報理論｜シラバス情報

授業コード

520069

オムニバス

科目名

情報理論

科目名（英語）

Information Theory

配当学年

1年

単位数

2単位

年度学期

2025年度秋学期

曜日時限

水曜2限

対象学科

基_電電,基_電情

コース

科目区分

専門科目

必選の別

選択科目

担当者

進藤　卓也

教室

1-301

実務家教員担当授業

担当教員の進藤は、防災機器メーカーにおいて、電子回路設計とマイコン制御に関する実務経験がある。その経験を通して、電気情報工学に必要な基礎力の育成を授業で扱っている。　

授業の目的と進め方

情報理論は、情報を正確に、効率よく伝えるための理論と技術を扱う学問である。携帯電話や無線LANなどの通信装置、ネットワーク、コンピュータ、さらにはCD、DVDなどのマルチメディアに適用されている情報理論の基本概念と応用について理解する。情報の定量化と情報源符号化、通信路符号化についての仕組みを理解し、符号化の方法を身に付ける。

達成目標１

情報源モデルについて説明できる。【10%】

達成目標２

エントロピーの計算ができる。【20%】

達成目標３

ハフマン符号の構成法を理解し、実際に符号化ができる。【20%】

達成目標４

通信路モデルと誤り確率、通信路容量について理解し、通信路容量の計算ができる。【20%】

達成目標５

情報源符号化と通信路符号化のそれぞれの役割を理解し説明できる。【10%】

達成目標６

ハミング距離の概念を理解し、説明できる。【10%】

達成目標７

誤り訂正、誤り検出の原理を理解し、各種符号の取り扱いができる。【10%】

アクティブラーニング

ディスカッション

ディベート

グループワーク

プレゼンテーション

実習

フィールドワーク

その他課題解決型学習

授業計画

授業時間外課題（予習および復習を含む）

第１回

情報理論とは

身の回りで情報理論が利用されているものを調べリストアップする。（３時間）

第２回

情報理論とシステムモデル

身の回りの事柄で情報量の大小を調べリストアップする。モールス符号について調べる。（２時間）
対数の概念を理解し、基本公式を覚える。対数の基本的な計算ができるようにする。（３時間）　

第３回

情報源符号化-情報量とエントロピー

エントロピーの意味を理解し、演習問題により計算ができるようにする。（３時間）
テキストp.67 演習問題[1]-[4]

第４回

情報源符号化-平均符号長とその限界

平均符号長の意味を理解し、演習問題により計算ができるようにする。（３時間）
テキストp.67 演習問題[5]-[6]

第５回

情報源符号化-ハフマン符号

ハフマン符号の構成法を理解し、ハフマン符号化ができるようにする。（３時間）
テキストp.97 演習問題[1]-[2]

第６回

情報源符号化-ブロック符号

ブロック符号化と平均符号長の関係を理解する。（２時間）

第７回

各種情報量-結合エントロピー

予習として、結合確率について復習する。（２時間）
結合エントロピーについて理解し、演習問題により計算ができるようにする。（３時間）
テキストp.115 演習問題[1]

第８回

各種情報量-条件付きエントロピー

予習として、条件付き確率について復習する。（２時間）
条件付きエントロピーについて授業で扱った例題を復習し理解する。（３時間）

第９回

各種情報量-相互情報量

相互情報量について理解し、演習問題により計算ができるようにする。（３時間）
テキストp.115 演習問題[6]

第10回

通信路符号化-通信路モデル

情報源符号化と通信路符号化の違いを理解する。通信路のモデルとその通信路行列による表現について理解する。通信路における誤りとその発生頻度である誤り確率について理解する。（３時間）

第11回

通信路符号化-通信路容量(1)

演習問題により通信路容量の計算ができるようにする。（３時間）
テキストp.137 演習問題[1]

第12回

通信路符号化-通信路容量(2)

授業中の例題について誤り確率pを変えたとき通信路容量の計算ができるようにする。（３時間）
テキストp.137 演習問題[2]-[3]

第13回

通信路符号化定理

平均誤り率と情報速度について理解する。演習問題によりこれらの計算ができるようにする。（３時間）
テキストp.138 演習問題[5]

第14回

符号理論-誤り検出と訂正

身の回りで誤り検出や誤り訂正が使われているものを調べリストアップする。（２時間）
ハミング距離やパリティ符号について理解する。（３時間）

課題等に対するフィードバック

提出された課題の解説については、授業内で解説の時間を設ける。

評価方法と基準

修得度確認テスト（50%）+ 期末試験（50％）
※ 演習課題は、提出後に解答を行うので必ず復習すること。
期末試験と修得度確認の結果に基づいて総合得点を求め、60点以上を合格とする。　

テキスト

三木成彦他　『情報理論』　コロナ社（1999年）　[ISBN: 978-4339012026]

参考図書

今井秀樹『情報理論』昭晃堂（1984年） [ISBN: 978-4785611392]
C.E.シャノン・W.ウィーバー・植松友彦(訳) 『通信の数学的理論』ちくま学芸文庫（2009年） [ISBN: 978-4480092229]

科目の位置づけ（学習・教育目標との対応）

情報理論は、情報の量を定義することで情報を定量的に扱う理論であり、情報系および通信系科目を学ぶために必須な基幹科目である。関連する科目として、2年「ワイヤレスネットワーク」と3年「情報通信伝送」、「ネットワークデザイン」等があるので、それらの科目も併せて受講することでそれぞれの科目の理解を深めることができる。

履修登録前の準備

確率の基本的な知識（確率の基礎、結合確率、条件付き確率）があることが望ましい。