実世界志向インタフェースへの挑戦

授業コード

520525

オムニバス

○

科目名

実世界志向インタフェースへの挑戦

科目名（英語）

Challenges to real-world oriented interfaces

配当学年

3年

単位数

2.00単位

年度学期

2025年度秋学期

曜日時限

水曜2限

対象学科

先_ロボ

コース

科目区分

専門科目

必選の別

選択科目

担当者

田村　仁、滝田　謙介

教室

8-102

実務家教員担当授業

担当教員の滝田謙介は、極限作業ロボットのユーザーインターフェース・人工知能に関する研究開発等の実務経験がある。その経験を活かし、サービスロボットやそれらに関わるシステムのユーザーインターフェースにに関して実践的なテーマや実例を授業で扱っている。

授業の目的と進め方

コンピュータや特にロボットに対する人間とのインターフェースには、従来のマウスやキーボードなどの間接的デバイスではなく、画像情報をはじめとする多様な情報を内包する実世界との自然なインターフェースが必要となる。このような実世界指向インターフェースについて実際のシステム構築を通して、その動作・特徴を理解する。

達成目標１

実世界インターフェースについて説明出来る。【20%】

達成目標２

IoT、CPSについて説明出来る。【20%】

達成目標３

VR/AR/MRについて説明出来る。【20%】

達成目標４

自動運転システムについて説明出来る。【20%】

達成目標５

コンピュータを使用して実世界と仮想世界とをつなぐ技術を説明出来る。【20%】

達成目標６

達成目標７

アクティブラーニング

ディスカッション

ディベート

グループワーク

プレゼンテーション

実習

フィールドワーク

その他課題解決型学習

授業計画

授業時間外課題（予習および復習を含む）

第１回

実世界指向インターフェースとCPS(サイバーフィジカルシステム)(担当：滝田)

【予習】コンピュータのインターフェースについて調べる。(1時間）
【復習】IoT・CPSの違いについて調べておく。(1時間)

第２回

CPSの構築：組込みOS(Linux)の基礎
(仕組みの理解とセットアップ)(担当：滝田)

【予習】授業資料をよく読み、必要なファイルをダウンロードなどを済ませる。(2時間）
【復習】授業資料を復習しファイル操作などに慣れる。(2時間)

第３回

CPSの構築：組込みOS(Linux)の基礎
(基本的な使い方)(担当：滝田)

【予習】授業資料をよく読み、必要なファイルをダウンロードなどを済ませる。(1時間）
【復習】指示された課題を解く。(2時間)

第４回

CPSの構築：組込みOS(Linux)を使った制御システムの実装
(基本構成の理解とセットアップ)(担当：滝田)

【予習】授業資料をよく読み、必要なファイルをダウンロードなどを済ませる。(1時間）
【復習】授業資料を復習し、装置が正常に動作することを確認する。(2時間)

第５回

CPSの構築：組込みOS(Linux)を使った制御システムの実装
(通信と周辺機器の制御)(担当：滝田)

【予習】授業資料をよく読み、必要なファイルをダウンロードなどを済ませる。(1時間）
【復習】授業資料を復習し、通信と周辺機器の制御について指示された処理を実行する。(2時間)

第６回

CPSの構築：組込みOS(Linux)を使った制御システムの実装
(リアルタイム性の理解とモータの制御)(担当：滝田)

【予習】授業資料をよく読み、必要なファイルをダウンロードなどを済ませる。(1時間）
【復習】授業資料を復習し、モータの制御について指示された処理を実行する。(2時間)

第７回

CPSの構築：組込みOS(Linux)を使った制御システムの実装
(自動運転システムの実装)(担当：滝田)

【予習】授業資料をよく読み、必要なファイルをダウンロードなどを済ませる。(1時間）
【復習】授業資料を復習し、自動運転プログラムを完成させる。(2時間)

第８回

CPSの利用：画像情報の取得とそれを用いた物体追跡(担当：田村)

【予習】「画像・視覚システム」第12回スライドを復習し、SSDとYOLOについて調べておくこと(1時間)
【復習】ボトルなど物体を追跡するスクリプトを完成させ、実際に画像を学習させて動作さぜる。(2時間)

第９回

CPSの利用：画像情報処理のための深層学習の導入(担当：田村)　

【予習】Tensorflowについて調べておく(1時間)。
【復習】tensorflowのインストールを終わらせる。衝突回避の演習時に集めた画像をTensorflowを使って実際に判別して報告する。(2時間)

第10回

CPSの利用：画像情報による人体の姿勢推定(担当：田村)　

【予習】OpenPoseについて調べておく(1時間)。
【復習】OpenPoseのインストールを終わらせ、JetBOTのカメラで自分の写真を解析させた結果を報告する(2時間)

第11回

CPSの利用：画像情報を用いたインタフェースの実装(担当：田村)　

【予習】ジェスチャーを使ったロボットの制御方法について調べておく(1時間)。
【復習】右手と左手の間隔に応じてJetBOTを前進と停止をさせるスクリプトを完成させ、両手首の間隔の中央を目指すように改良し、両手首の間隔に応じた速度調整するようなインターフェースを実現する(2時間)

第12回

CPSの利用：音声認識の導入(担当：田村)　

【予習】Google Cloud Speech-to-TextとGoogle Speech RecognitionとWit.aiとMicrosoft Bing Voice RecognitionとIBM Speech to Textについて調べておく。(1時間）
【復習】サンプルプログラムを動作させる。(2時間)

第13回

CPSの利用：音声認識を用いたインターフェースの実装(演習)(担当：田村)　

【予習】各音声認識エンジンをpythonから呼び出す方法(SpeechRecognition)について調べておく。(1時間）
【復習】JetsonNanoで音声認識させ、JetBotを制御するプログラムを作成する。(2時間)

第14回

クラウドサーバでの深層学習と文字認識(担当：田村)　

【予習】Google Colaboratoryについて調べて簡単な使い方を覚えておくこと。(1時間）
【復習】Google Colaboratoryを使って文字認識を動作させること。(2時間)

課題等に対するフィードバック

サポータル上で出された課題に対しては評価を通知する。

評価方法と基準

授業中に指示した課題の評価(100％)
課題の60%できれば合格。

テキスト

授業の進捗にあわせてポータルサイトやTeamsにおいて公開を行う。

参考図書

授業の進捗にあわせてポータルサイトやTeamsにおいて指示する。

科目の位置づけ（学習・教育目標との対応）

本授業は情報系科目の集大成となる応用科目で有る。実世界を計算機上の仮想世界に取り込むためのセンサ技術、計算機内での処理を記述するためのプログラミング技術、そしてそれを実世界に作用させるための情報提示手法やアクチュエータ技術などを学び、卒業研究での成果につなげることを期待している。

履修登録前の準備

「プログラミング言語」「情報処理技術」「制御プログラミング」「画像・視覚システム」の内容を理解し、プログラミングに関して十分な知識を修得済みであること。

シラバス情報