ChatGPT×UE5、“声”だけで進める3D脱出ゲーム「名探偵モカと密室脱出」のデモンストレーション動画を公開！　セリフの自動生成によるゲームプレイを探求する技術デモ。

Unreal Engine専門のソフトウェア開発会社 株式会社ヒストリア（代表：佐々木瞬　本社所在地：　東京都品川区）は、ChatGPT×UE5を用いた技術デモ、“声”だけでプレイする3D脱出ゲーム「名探偵モカと密室脱出」のデモンストレーション動画を2023年8月4日(金)に公開いたしました。



■『名探偵モカと密室脱出』とは
[画像1: (リンク ») ]


デモンストレーション動画
ショートver： (リンク »)
ノーカットver： (リンク »)

本作はマイクにより声だけでプレイする脱出ゲームです。近年のAI技術――ChatGPTおよび文字起こし/読み上げサービスを利用することにより、コントローラーを使用しない「より自然なコミュニケーション」によるゲームプレイの可能性を探ることを目的として作られました。

[画像2: (リンク ») ]


以下の３つを具体的な目標として、「会話を通して名探偵モカにヒントを貰いながら、脱出のカギを見つけて部屋の中から脱出するゲーム」として仕立て上げました。

・自然言語（声）によるNPCとのコミュニケーション
・ChatGPTにより3Dキャラクターを動かす
・ChatGPTによりゲーム進行を行い、ゲームのシナリオを収束させる

※本作は社内の技術研究として制作されたプロジェクトであり、ゲームとしての一般公開の予定はありません。


■ChatGPTを含む3つのAIクラウドサービスを使用
[画像3: (リンク ») ]

本作では3つのAIクラウドサービスを使用しています。

1.文字起こし：Azure Cognitive ServicesのSpeech Service内「リアルタイム音声テキスト変換」
　マイクから取得した音声をテキストへ変換。
2.行動・セリフ決定：「ChatGPT（GPT-4）」
　文字起こしで得たテキストを元にプロンプトを発行し、NPCの行動と会話の返答を得る。
3.読み上げ：Azure Cognitive ServicesのSpeech Service内「Custom Neural Voice」
　ChatGPTで得たセリフをボイスに変換。

クライアント側はUE5で動作しており、キャラクターの移動や演出などはUE5の機能を用いて行っています。


■ChatGPTのストリーミング機能を利用したレスポンス向上
自然な会話を成り立たせるためには、キャラクターのレスポンスも重要な要素です。
ChatGPTの返答を待ってから処理したのではキャラクターのレスポンスが悪かったため、今回はChatGPTのストリーミング機能を利用し、以下の2つの工夫を行いました。

１．セリフ部よりもコマンド部を先にすることにより、コマンド部の結果が取得できた時点でキャラクターの移動を行い、時間を稼ぐ。
２．セリフを分割して読み上げ機能に投げることにより、ChatGPTの返答を待たずして返答する。

以下は2の概念図です。

[画像4: (リンク ») ]

これらの工夫により、違和感の少ないキャラクターレスポンスを実現しました。

■開発者による見どころ紹介を公開
ChatGPTに任せたゲーム進行や自然な会話の実現方法などを紹介しております。
(リンク »)


これらの研究結果を今後の制作に役立てるとともに、これからもヒストリアではAI技術とリアルタイムレンダリング技術を掛け合わせて実現できることを探求していきます。

リリースブログ： (リンク »)

■株式会社ヒストリアとは
[画像5: (リンク ») ]

Unreal Engine専門のソフトウェア開発会社です。ゲーム事業とエンタープライズ事業の2つの軸でソフトウェアの企画、開発を行っています。代表作は『ライブアライブ』（開発）、『Caligula2』（開発・PC版販売）、『ジョジョの奇妙な冒険 ラストサバイバー』（開発）など。
エンタープライズ事業では、自動車業界、建築業界、映像・放送業界向けコンテンツやメタバース等を制作。また、『UE5ぷちコン』を始めとするイベントの主催・運営や技術ブログの発信など、Unreal Engineコミュニティを盛り上げる活動を行う他、WEBメディア『ゲームメーカーズ』運営等、開発者への情報発信にも力を入れる。

株式会社ヒストリア 会社HP：　 (リンク »)
ヒストリア・エンタープライズ 会社HP：　 (リンク »)
公式Twitter： (リンク »)

プレスリリース提供：PR TIMES (リンク »)