実世界志向インタフェースへの挑戦

授業コード

520525

オムニバス

○

科目名

実世界志向インタフェースへの挑戦

科目名（英語）

Challenges to real-world oriented interfaces

配当学年

3年

単位数

2単位

年度学期

2026年度秋学期

曜日時限

水曜1限

対象学科

先_ロボ

コース

科目区分

専門科目

必選の別

選択科目

担当者

田村　仁、滝田　謙介

教室

8-102

実務家教員担当授業

担当教員の滝田謙介は、極限作業ロボットのユーザーインターフェース・人工知能に関する研究開発等の実務経験がある。その経験を活かし、サービスロボットやそれらに関わるシステムのユーザーインターフェースにに関して実践的なテーマや実例を授業で扱っている。

授業の目的と進め方

コンピュータや特にロボットに対する人間とのインターフェースには、従来のマウスやキーボードなどの間接的デバイスではなく、画像情報をはじめとする多様な情報を内包する実世界との自然なインターフェースが必要となる。このような実世界指向インターフェースについて実際のシステム構築を通して、その動作・特徴を理解する。

達成目標１

実世界インターフェースについて説明出来る。【20%】

達成目標２

IoT、CPSについて説明出来る。【20%】

達成目標３

VLM/VLA/RFM/WFMについて説明出来る。【20%】

達成目標４

自動運転システムについて説明出来る。【20%】

達成目標５

コンピュータを使用して実世界と仮想世界とをつなぐ技術を説明出来る。【20%】

達成目標６

達成目標７

アクティブラーニング

ディスカッション

ディベート

グループワーク

プレゼンテーション

実習

〇

フィールドワーク

その他課題解決型学習

授業計画

授業時間外課題（予習および復習を含む）

第１回

実世界指向インターフェースとCPS(サイバーフィジカルシステム)(担当：滝田)

【予習】コンピュータのインターフェースについて調べる。(1時間）
【復習】IoT・CPSの違いについて調べておく。(1時間)

第２回

CPSの構築：組込みOS(Linux)の基礎
(仕組みの理解とセットアップ)(担当：滝田)

【予習】授業資料をよく読み、必要なファイルをダウンロードなどを済ませる。(2時間）
【復習】授業資料を復習しファイル操作などに慣れる。(2時間)

第３回

CPSの構築：組込みOS(Linux)の基礎
(基本的な使い方)(担当：滝田)

【予習】授業資料をよく読み、必要なファイルをダウンロードなどを済ませる。(1時間）
【復習】指示された課題を解く。(2時間)

第４回

CPSの構築：組込みOS(Linux)を使った制御システムの実装
(基本構成の理解とセットアップ)(担当：滝田)

【予習】授業資料をよく読み、必要なファイルをダウンロードなどを済ませる。(1時間）
【復習】授業資料を復習し、装置が正常に動作することを確認する。(2時間)

第５回

CPSの構築：組込みOS(Linux)を使った制御システムの実装
(通信と周辺機器の制御)(担当：滝田)

【予習】授業資料をよく読み、必要なファイルをダウンロードなどを済ませる。(1時間）
【復習】授業資料を復習し、通信と周辺機器の制御について指示された処理を実行する。(2時間)

第６回

CPSの構築：組込みOS(Linux)を使った制御システムの実装
(リアルタイム性の理解とモータの制御)(担当：滝田)

【予習】授業資料をよく読み、必要なファイルをダウンロードなどを済ませる。(1時間）
【復習】授業資料を復習し、モータの制御について指示された処理を実行する。(2時間)

第７回

CPSの構築：組込みOS(Linux)を使った制御システムの実装
(自動運転システムの実装)(担当：滝田)

【予習】授業資料をよく読み、必要なファイルをダウンロードなどを済ませる。(1時間）
【復習】授業資料を復習し、自動運転プログラムを完成させる。(2時間)

第８回

CPSの利用：TensorflowとPytorchを用いた画像判別(担当：田村)

【予習】TensorflowとPytorchについて特徴やその導入方法、使い方など調べておく、(1時間)。
【復習】TensorflowのDockerコンテナを導入し、Tensorflowを使ったスクリプトを実行し、実際に判別して報告する。(2時間)

第９回

CPSの利用：画像情報による物体検出と物体追跡(担当：田村)

【予習】YOLOについて特徴やその導入方法、使い方などを調べておくこと(1時間)
【復習】Ultralyticsコンテナを導入し、ボトルなど物体を追跡するスクリプトを完成させ、実際に画像を学習させて動作させる。(2時間)

第10回

CPSの利用：画像情報による人体の姿勢推定(担当：田村)

【予習】Mediapipeについてについて特徴やその導入方法、使い方などを調べておくこと(1時間)
【復習】Mediapipeコンテナを生成し、GPUサーバー上で解析させた結果を報告する(2時間)

第11回

CPSの利用：音声情報の認識(担当：田村)

【予習】Whisperについて特徴やその導入方法、使い方などを調べておくこと(1時間)
【復習】Google Coraboratory上でWhisperを呼び出すスクリプトを作成し、実際に音声を認識させる(2時間)

第12回

CPSの利用：画像からの文字認識(担当：田村)

【予習】OCRについてその特徴と、Google Tesseractの導入方法や使用方法などを調べておく。(1時間）
【復習】いくつかの文章画像を文字認識するスクリプトを作成し、性能を評価する。(2時間)

第13回

CPSの利用：VLMの基礎知識(担当：田村)

【予習】VLM(Visual Language Model)についてその特徴と、Ollamaを使ったLLaVA/QwenなどのVLMの導入方法について調べておく。(1時間）
【復習】GPUサーバ上で動作するQwenを利用するスクリプトを作成し、様々なプロンプトや条件で画像の説明文を実際に生成させる。(2時間)

第14回

CPSの利用：VLAとロボット基盤モデルへの応用(担当：田村)

【予習】VLA(Visual Langurage Action)/RFM(Robot Foundation Model)/WFM(World Foundation Model)について特徴を調べ、Ollama上で動作するVLAにどんなものがあるのか知っておくこと。(1時間）
【復習】GPUサーバ上で動作するVLAにカメラ映像を投げて得られたACTIONに従って動作するロボットを作成する。(2時間)

課題等に対するフィードバック

サポータル/Teams上で出された課題に対しては評価を通知する。

評価方法と基準

授業中に指示した課題の評価(100％)
課題の60%できれば合格。

テキスト

授業の進捗にあわせてポータルサイトやTeamsにおいて公開を行う。

参考図書

授業の進捗にあわせてポータルサイトやTeamsにおいて指示する。

科目の位置づけ（学習・教育目標との対応）

本授業は情報系科目の集大成となる応用科目で有る。実世界を計算機上の仮想世界に取り込むためのセンサ技術、計算機内での処理を記述するためのプログラミング技術、そしてそれを実世界に作用させるための情報提示手法やアクチュエータ技術などを学び、卒業研究での成果につなげることを期待している。

履修登録前の準備

「プログラミング言語」「情報処理技術」「制御プログラミング」「画像・視覚システム」の内容を理解し、プログラミングに関して十分な知識を修得済みであること。

シラバス情報