NECは、エンタープライズ事業における生成AI活用の現状について説明会を開催した。エンタープライズ事業を担当する同社の「エンタープライズビジネスユニット」は、金融業、製造業、流通・サービス業など民需向けにITソリューションを提供することをミッションとしており、説明会では同ユニットにおける生成AIの取り組みが紹介された。
「ひととAIの新たな未来を実現するNEC Personal Consultant」と題し、デジタルファイナンス統括部 ビジネスプロデューサーの西村知可子氏が、アイシンのマルチモーダル対話技術とNECの生成AIおよび生体認証技術を組み合わせて実現したパートナーAIシステム「NEC Personal Consultant」について紹介した。
NEC デジタルファイナンス統括部 ビジネスプロデューサー 西村知可子氏
対話型で必要な情報を引き出す手段として生成AIは大きな成果を達成しているが、現状のプロンプト（指示文）を利用した対話インターフェースを使いにくいと感じるデジタル技術に不慣れな人が一定数存在していることも事実だ。
同氏は「高度な情報化社会において、テクノロジーの力で、誰ひとり取り残さない社会を」という目標を掲げ、その解決策の一つとしてNEC Personal Consultantを位置付けた。
アイシンのマルチモーダル対話技術では、カメラ画像や音声からユーザーの状況や思いをくみ取り、LLMと融合することでユーザーに寄り添う共感的な対話インターフェースを実現するという。
NECの顔認証技術によって信頼性の高い本人確認を行い、さらに対話を通じた属性や状況の認識・推測によって、個々のユーザーに対応した的確なサービスを提供できるという。CGアーティストのTELYUKA氏が制作したフルCGキャラクターに基づくデジタルヒューマン「Saya」を活用し、実際に人と対話しているイメージで利用できる。
NEC Personal Consultantとユーザーの対話のイメージ（会場で上映されたビデオ映像）
NEC Personal Consultantの実装技術について、金融システム統括部 プロフェッショナルの新藤佳子氏が説明した。全体的な動作としては、端末の前にユーザーが座るとカメラを通じた顔認証によってユーザーを識別し、ユーザー情報に基づいた対話を開始する。
NEC 金融システム統括部 プロフェッショナル 新藤佳子氏
ユーザーの発言は、まずアイシンの音声変換合成サーバーで受け取り、NEC側の大規模言語モデル（LLM）に送られてくるので応答を生成してテキストで戻す。応答テキストを受け取った音声変換合成サーバーはテキストを音声に変換し、応答に応じた表情や声色、しぐさといったノンバーバルな表現も組み合わせ、最終的な応答としてリアルタイムに表示していく、という流れだという。
細かな実装上の工夫として、発話に対して応答が遅れると自然なリズムで対話を続けられなくなりこともあり、最初の1文に関してはごく短いフレーズを生成してなるべく早いタイミングで発話を開始することでユーザーに違和感を抱かせないように工夫しているという。
表情やしぐさの表現では、心理学に基づいた複雑なアルゴリズムを活用して自然な動作を作っているとのことだ。生成AIを使えばこうしたシステムが簡単に実現できる、ということではなく、さまざまな技術的な工夫を組み合わせて実現していることが分かる。
アイシンとNECの機能分担
※クリックすると拡大画像が見られます
