Wake Mate

イメージ図

構成図

製品概要

背景(製品開発のきっかけ、課題等）

• 私たちは meaningful morning チームはほとんどが 1 人暮らしの学生で構成されています。
• 実家にいる時はなぜか起きることができたのに、一人暮らしだとなかなか起きることができません。
  • （課題）それはお母さん（起こしてくれる人）がいないからです！

製品説明（具体的な製品の説明）

特長

1. 特長 1 　テレビや VR 機器との連動したアバターがによる親しみやすい存在！

2. 特長 2 　対話形式で、スケージュールや目覚まし時間のセット

3. 特長 3 　カメラによる起床確認

4. 特徴 4 　 LLM による画像・音声認識

解決出来ること

• 規則正しく生活できる
• 一人暮らしの寂しさを和らげられる

今後の展望

• 寝坊以外の対処
  • 身だしなみチェック（以下のことを外出時に教えてくれる）
    • 鼻毛で出るよ
    • ネクタイ曲がってるよ
    • シャツの襟がおかしいよ
    • 今日は雨が降るから傘を持って行きなさい
  • 忘れ物防止（外出前にリマインドしてくれる）
  • 時間管理
  • 料理
  • 寝落ち防止
• マルチデバイス対応
  • Quest3やVision ProなどのXRデバイスへの対応
    • AR・MRにより一人暮らしをさらにサポート
• 組み込みプログラムにより赤外線の家電操作を行い、起床時に電気やエアコンをつけれるようにする

注力したこと（こだわり等）

• LLM により毎回異なった応答をしてくれる
• LLM の出力に応じたアニメーションが再生
• LLM による画像認識で、👀 を持つ AI として機能
• LLM によって自然な会話を読み取れる
• テレビのON OFFも自動で行う
• DjangoによりAPIとして機能を実装
• SocketとVPNを組み合わせることで、どこからでもアクセスできる使いやすさ

開発技術

活用した技術

API・データ

• OpenAI API
• Google search API
• アバターモデル・音声

フレームワーク・ライブラリ・モジュール

• django
• restframework
• socket
• unity
• voicevox
• CECによるTV操作

デバイス

• PC
• raspberry pi
• TV
• マイク
• カメラ
• Meta Quest3

独自技術

ハッカソンで開発した独自機能・技術

• 自動でテレビの電源をオンオフ
• 自動で録音終了する rec.py
• scoket通信により、サーバーにテキストを送ることをトリガーとし自動でアバターに話させる機能
• LLM に特定の型で回答させるためのプロンプト技術
• LLM とアバターを連携し、VR / AR環境で表示 　- https://youtu.be/Ci02pe3ARAg 　- https://youtube.com/shorts/Nwh4mZ2vYMM?feature=share