日本電信電話株式会社（代表取締役社長：島田明 以下、NTT）と松竹株式会社（代表取締役社長：迫本淳一 以下、松竹）は、松竹が主催する「超歌舞伎2022 Powered by NTT」の公演プログラムの一つである「超歌舞伎のみかた」の一幕において、NTTが研究開発を進めるコンピュータによってまるで双子の様に人を再現するデジタルツイン「Another Me®」の社会実装の第一弾として、同公演に主演する中村獅童のデジタルツインである「獅童ツイン」を実演する実証実験を実施します。
中村獅童であって中村獅童ではない、本人があたかもそこにいるかのように、デジタル空間上に再現され、生み出された獅童ツインの誕生に是非ご注目下さい。
1．背景
NTTは、IOWN（アイオン：Innovative Optical & Wireless Network）構想※1の柱の一つとして、現実世界（リアル）のツイン（双子）をデジタル上に構築するデジタルツインコンピューティング（以下、DTC）構想を提唱し、その実現に向けた研究開発を推進しています。DTC構想は、現実世界における人や物、都市、環境などさまざまな物理的対象に関して収集したデータから高精度なデジタル表現（デジタルツイン）を作成し、その掛け合わせにより従来のICTの限界を超えた大規模・高精度な未来予測や高度なコミュニケーションの実現をめざすものです※２。
DTC構想においてNTTがめざす方向性の一つが「Another Me」です。Another Meの掲げるビジョンにおいては、デジタルツイン技術でつくられる‟もう一人の自分”が、現実世界の制約を超えて本人として社会の中で自律的に活動し、その結果を本人自身の経験として共有することにより、人が活躍し成長する機会を飛躍的に増やすことをめざしています（図1）。
(リンク »)
図１ Another Meのコンセプト
今回、Another Meの要素技術である、「身体モーション生成技術」により、超歌舞伎に主演する 中村獅童の身振り・手振りを自律的に再現する「獅童ツイン」を松竹株式会社と共同で実現し、「超歌舞伎2022 Powered by NTT」の公演においてお披露目する運びとなりました。
「超歌舞伎」は、2016年より松竹と株式会社ドワンゴ（以下、ドワンゴ）が共同製作し、ニコニコ超会議内で公演を重ねてきたもので、日本の伝統文化を代表する歌舞伎と、NTTの最新テクノロジーが融合した全く新しい歌舞伎です。”電話屋※3”ことNTTの「Kirari!」をはじめとする最新ICT技術の導入により、未来へ向けて、演劇の舞台演出の可能性を広げる試みが、高い評価を得ています。初演から7年目となる今夏の「超歌舞伎2022 Powered by NTT」は、8月4日から9月25日まで、次の日程で全国の4劇場で上演いたします。公演演目の一つで、超歌舞伎の魅力を楽しくナビゲートする一幕、「超歌舞伎のみかた」において、Another Me技術の実証として、「獅童ツイン」が獅童に代わり、皆様にご挨拶をするなどの実演をします。
「超歌舞伎2022 Powered by NTT」 (リンク »)
製作： 松竹・NTT・ドワンゴ
8月 4日(木)～8月 7日(日）福 岡・博多座
8月13日(土)～8月16日(火）名古屋・御園座
8月21日(日)～9月 3日(土）東 京・新橋演舞場
9月 8日(木)～9月25日(日）京 都・南座
・中村獅童のコメント
この度NTTさんが、私の台詞まわしや身振り手振りを「学習」してまるで私のように振る舞い、身振り手振りをするという「獅童ツイン」を開発し、明日から開幕する超歌舞伎公演の一幕にて紹介する運びとなりました。超歌舞伎にこのような最先端技術が導入されることで、超歌舞伎の演出の可能性が益々広がるものと思っております。この度もお客様に超歌舞伎をお楽しみいただけるよう精一杯勤めます。
2．技術のポイント
デジタル的なもう一人の自分であるAnother Meには、コミュニケーションにおいて本人らしい印象を与える外見や言動が求められます。
身体モーション生成技術は、特定の人物の音声・映像データから、その人らしさを学習することで、その人の発話音声のみから‟その発話をしている時のその人らしい動作”を自動で生成できるようになります。技術的には、GAN（Generative Adversarial Networks）と呼ばれる深層学習技術により、音声から動作を生成するモデルを構築します（図2）。人物の細かな癖までもとらえた幅広い動作の生成を実現するために、学習時にデータを処理する機構に工夫があり、その人らしさや自然さといった評価で世界最高性能を実現しています。
また、NTTが開発した最先端の音声合成技術により、少量の音声から、"その人らしい声色"に加えて、"その人らしい抑揚のつけ方"といった音声ならではの表現力を学習できます。これまでの音声合成技術では、淡々とした表現の話し方になっていましたが、表現力豊かな音声の生成を実現しています。本実証実験では、中村獅童の数分程度の音声から、特徴である抑揚ある感情豊かな話し方の再現を行いました。
本実証実験において、超歌舞伎の舞台でのダイナミックな中村獅童の身振り・手振りや、表情豊かな声色・話し方の再現に挑戦し、ファンの皆様に「獅童ツイン」としてご覧いただくことで、本技術が公演に適用可能なレベルの実用性を有することを検証します。
(リンク »)
図2 身体モーション生成技術の概要
3．今後の研究開発
NTTでは、人の見かけや身振りなどの外面だけではなく、深い内面の‟個性”をも再現するAnother Me技術の実現に挑戦しています。今後は、人の持つ様々な言語や身体的な表現手段にあらわれるその人らしさを様々なシーンで学習することで、その人の内面のモデル化にまで挑戦します。それにより、自分らしい仕事や生活のスタイル、人との接し方などのパーソナリティ、さらには物ごとを判断する際の信念や表現・創作における独自性をも再現できるAnother Meを実現します。もう一人の「私」が物理的な制約を超えて「私」としての活躍・成長の機会を広げることで、一人一人が輝き充実できる社会の実現をめざします。
Another Me技術の今後の研究開発と、誕生したての「獅童ツイン」の今後の成長に、是非ご期待ください。
※1 IOWN（アイオン：Innovative Optical and Wireless Network）
スマートな世界を実現する最先端の光関連技術および情報処理技術を活用した未来のコミュニケーション基盤 （「IOWN構想とは？」 (リンク ») ）
※2 「デジタルツインコンピューティングとはなにか」 (リンク »)
※3 電話屋：超歌舞伎の観客の皆様が命名してくださったNTTの‟屋号“
本プレスリリースは発表元企業よりご投稿いただいた情報を掲載しております。
お問い合わせにつきましては発表元企業までお願いいたします。
お問い合わせにつきましては発表元企業までお願いいたします。
