機械学習Ⅱ ｜シラバス情報

授業コード

521025

オムニバス

科目名

機械学習Ⅱ

科目名（英語）

Machine Learning II

配当学年

3年

単位数

2.00単位

年度学期

2025年度秋学期

曜日時限

火曜2限

対象学科

先_データ

コース

科目区分

専門科目

必選の別

選択科目

担当者

伊藤　暢彦

教室

1-352

実務家教員担当授業

担当教員の伊藤は企業の研究所においてソフトウェア開発の実務経験がある。その経験に即した指導を行う。

授業の目的と進め方

本授業では、強化学習と深層強化学習の概念・理論と実装方法について修得する。概念・理論については、数式での表現方法を、演習と主体として、学修する。実装については、Pythonによる実装方法を、演習を主体として、学修する。修得した強化学習と深層強化学習の概念・理論と実装技術を使って、問題の定式化を行い，解決手法を学習アルゴリズムで実現できるようになることを目的とする。

達成目標１

機械学習の概念について説明できる。【30%】

達成目標２

機械学習の理論について説明できる。【30%】

達成目標３

Pythonを用いて深層強化学習のプログラムを実装できる。【20%】

達成目標４

Pythonを用いてニューラルネットワークのプログラムを実装できる。　【20%】

達成目標５

達成目標６

達成目標７

アクティブラーニング

ディスカッション

ディベート

グループワーク

プレゼンテーション

実習

○

フィールドワーク

その他課題解決型学習

授業計画

授業時間外課題（予習および復習を含む）

第１回

ガイダンス

開発環境を構築する。教科書APPENDIXのAP1を読んでおく（予習1時間）。開発環境の構築を確実に終える（復習1時間）。

第２回

強化学習の有用性

教科書第1章を熟読しておく（予習1時間）。機械学習の分類、強化学習でできること、深層強化学習の意味、を確実に理解する（復習2時間）。

第３回

強化学習のアルゴリズム(1)

教科書第2章の2.3節までを熟読しておく（予習1時間）。強化学習の基本概念、マルコフ決定過程、ベルマン方程式の解法、を確実に理解する（復習2時間）。

第４回

強化学習のアルゴリズム(2)

教科書第2章の2.4節までを熟読しておく（予習1時間）。モデルフリーな制御を確実に理解する（復習2時間）。

第５回

深層学習による特徴抽出(1)

教科書第3章の3.2節までを熟読しておく（予習1時間）。深層学習の基本概念、畳み込みニューラルネットワーク、を確実に理解する（復習2時間）。

第６回

深層学習による特徴抽出(2)

教科書第3章の3.3節までを熟読しておく（予習1時間）。再帰型ニューラルネットワークを確実に理解する（復習2時間）。

第７回

深層強化学習の実装

教科書第4章を熟読しておく（予習1時間）。深層強化学習の発展、行動価値観数のネットワーク表現、方策関数のネットワーク表現、を確実に理解する（復習2時間）。

第８回

中間演習

教科書4章までの例題のソースコードを理解し，自らの手で実装できるようにする（予習1時間）。実装できなかった例題は再度挑戦し，確実に理解する（復習2時間）。

第９回

連続制御問題への応用

教科書第5章を熟読しておく（予習1時間）。方策勾配法による制御、学習アルゴリズムと方策モデル、連続動作シミュレータ、アルゴリズムの実装、学習結果と予測制御、を確実に理解する（復習2時間）。

第10回

組合せ最適化への応用(1)

教科書第6章6.2節までを熟読しておく（予習1時間）。組合せ最適化への応用、巡回セールスマン問題、を確実に理解する（復習2時間）。

第11回

組合せ最適化への応用(2)

教科書第6章6.3節までを熟読しておく（予習1時間）。ルービックキューブ問題を確実に理解する（復習2時間）。

第12回

系列データ生成への応用(1)

教科書第7章7.1節までを熟読しておく（予習1時間）。SeqGANによる文章作成を確実に理解する（復習2時間）。

第13回

系列データ生成への応用(2)

教科書第7章7.2節までを熟読しておく（予習1時間）。ネットワークアーキテクチャの探索を確実に理解する（復習2時間）。

第14回

総合演習

教科書7章までの例題のソースコードを理解し，自らの手で実装できるようにする（予習1時間）。実装できなかった例題は再度挑戦し，確実に理解する（復習2時間）。　

課題等に対するフィードバック

課題については、授業内で解説の時間を設ける。　　

評価方法と基準

練習問題の解答状況、中間演習および総合演習の結果よる提出課題と到達度の確認に、授業への取り組み姿勢を加えて60点以上をC評価以上とする。

テキスト

「現場で使える！Python深層強化学習入門強化学習と深層学習による探索と制御」伊藤多一著・翔泳社　【ISBN-13：,978-4798159928】

参考図書

「はじめてのディープラーニング Pythonで学ぶニューラルネットワークとバックプロパゲーション」我妻幸長　SBクリエイティブ株式会社【ISBN-13：978-4797396812】

科目の位置づけ（学習・教育目標との対応）

深層強化学習、ニューラルネットワークを数式で表現することで概念を理解しつつ、Pythonによる実装を行うことで、機械学習の理論と実装を学修する。

履修登録前の準備

データサイエンスプログラミングIVで学んだPythonを復習しておくこと。微分、線形代数、確率・統計を予習・復習しておくこと。機械学習Iを修得できていることが望ましい。