About me
AI・XR研究者 | 博士課程在籍中
名古屋大学大学院情報学研究科の博士課程に在籍し、 AIとXR技術を組み合わせた教育・トレーニングシステムの研究開発に取り組んでいます。 特にコンピュータビジョン、3Dアバター表現、行動解析AIを専門とし、 AIによるフィードバックを活用した没入型の学習体験を生み出すことを目指しています。
様々なプロジェクトに参加し、研究開発やシステムの設計・実装まで幅広く担当してきました。 スタートアップ企業でのプロダクト開発の経験もあり、技術を社会実装するアプローチを探求しています。 論文投稿や発表に加え、国際交流やイベントにも積極的に参加し、学術的な知見と実践的なスキルを兼ね備えた人材を目指しています。
技術スキル・開発経験
- 機械学習モデルの開発・実装
- データ分析・各種ツールの作成
- バックエンド開発
- Windowsアプリ開発
- Unityでのゲーム開発
- Webアプリのフロントエンド実装
- アニメーション
- Line Messaging APIと連携したサーバーサイド開発
- 飲食店の予約受付システムの開発
- XRアプリケーション開発
- エディタ拡張などのツール作成
- 3Dアバターの表現(LipSyncなど)
- Pico4やQuest3向けのスタンドアロン開発
- トラッカー情報の取得
- マルチプレイ対応
- 3Dアバターやオブジェクトの同期
- チャットや通話機能
- 深層学習モデルの構築・学習
- アーキテクチャや損失関数のカスタマイズ
- 最新の論文の追実験
- モデルの構築・学習
- データの前処理
- 3次元再構成
- 背景除去やノイズ除去などの画像処理
- カメラキャリブレーション
- 3次元再構成
- 小テスト用Webアプリの開発
- Youtubeショーツ自動生成ツールの開発
- フロントエンドUI開発
- 動画アノテーションツール
- ポートフォリオ
- バックエンド開発
- API設計
- データベース設計(MySQL)
- 機械学習環境の構築
- コンテナの管理
- 研究室内のプロジェクト管理
- データセットや学習モデルの公開
- ツールの管理・公開
- python開発
- バックエンド開発
- Unity開発
- Windowsアプリ開発
- 3Dアバター作成
- モデリング
- Web版アプリのデプロイ
- 簡易的な会話ボットの作成
- カメラを使用した人物の識別
研究内容
#1 XRダンストレーニングシステム
「理想のダンスをマスターするための次世代トレーニングシステム。AIとXR技術の融合で、いつでもどこでも専属コーチがあなたの練習をサポート。」
私が主に取り組んでいる研究テーマです。学部時代から開発をはじめ、地元のダンススクールと連携して試行錯誤を重ね、2025年夏に製品化しました。
#2 ダンスの自動評価とフィードバック生成
システムの要素技術として、ダンスモーションの自動評価とユーザーフィードバックの生成に取り組みました。
ダンスは動きに正解がないことから、手本動作を基準とした相対評価のフレームワークを提案し、タスクの設計からデータ収集、学習モデルの構築、学習・評価まで全体を通して研究に貢献しました。
プロジェクト
XR講義システム
XR空間でアバターやスライドを用いて講義コンテンツを作成・視聴するシステムです。
主に機能の追加やメンテナンス、バグ修正を担当しており、PC版は実際に大学内の講義で運用しています。XRロボットアーム訓練システム
研究機関との共同開発として携わっており、工場現場におけるロボットアームの遠隔操作をXR空間でトレーニングするシステムの設計・開発を担当しています。論文一覧
-
Deep Latent Space Based Data Assimilation Method for Integrating Multiple Body Tracking Techniques for Immersive XR Applications
the 9th International Conference on Virtual and Augmented Reality Simulations (ICVARS 2025)
微分可能パーティクルフィルタに基づいて、複数のボディトラッキング手法を統合する手法を提案しました。 XR環境においてデータセットを構築し、身体動作を高精度かつリアルタイムに推定できることを示しました。
-
An Efficient Immersive Self-Training System for Hip-Hop Dance Performance with Automatic Evaluation Features
Applied Sciences, vol. 14, no. 1, 2024
ダンスのパフォーマンス分析のためのデータセットを作成し、模範演技を基準とした相対評価モデルを提案しました。 提案手法が、ダンスの動作を客観的かつ高精度に評価・フィードバック可能であることを示しました。
-
VR Dance Training System Capable of Human Motion Tracking and Automatic Dance Evaluation
PRESENCE: Virtual and Augmented Reality, vol. 31, pp. 23-45, 1 Dec. 2022
マルチカメラによる3次元姿勢推定と、対照学習を用いたダンスの自動評価を実現したVRダンストレーニングシステムを開発しました。
受賞歴
-
学生奨励賞
第86回情報処理学会 (2024年3月) にて、学生奨励賞を受賞しました。
https://www.i.nagoya-u.ac.jp/情報処理学会より第86回全国大会学生奨励賞を受賞/
-
学生が選ぶ優秀賞・教員が選ぶ優秀賞
学内の中間発表会 (2025年4月)にて、学生が選ぶ優秀賞と教員が選ぶ優秀賞を受賞しました。
-
博士支援プログラム採択
2025年度に博士支援プログラムに採択されました。
その他の制作物・ツール
MemoryJourney
すごろくをベースにしたUnityゲームで、家族や恋人と思い出を振り返りながら追体験することをコンセプトとしています。ゲームロジックに加え、オンライン対応など複数の技術を組み合わせて開発しました。個人制作です。プログラミングクイズ
pythonプログラミングの学習用アプリです。エラー内容をフィードバックしたり、GPTを用いたヒントの提供ができます。個人制作で、アルバイト先のプログラミング教室に導入予定です。
まばたきから自分の集中状態や眠気を数値化し、可視化する事ができます。
タイピングゲーム
小学生向けの実践的なタイピングゲームを作成しました。Pythonの基礎文法に加え、EV3やpybrickなどの応用問題も作成できます。雑談グラフ
雑談の内容を録音してリアルタイムで会話の流れを可視化するWebアプリを作成しました。APIを活用して話者識別や文字起こし、要約を行い、リアルタイムでグラフを更新します。主にバックエンドの処理を担当し、差分を利用してグラフ操作を行う部分を工夫しました。おぼえるくん
LINE Messaging API+GASで共有メモアプリを作成しました。行きたい所、やりたい事をメモし、恋人や家族と共有することができます。SpreadSheetとの連携や基幹部分の実装を担当しました。