IOWN時代におけるリアル・サイバー融合空間の表現・演出技法に関する総合的な共同検討に着手 ～空間とヒトの超リアルかつ環世界的なデジタルツインコンピューティングの実現に向けて～

　日本電信電話株式会社（本社：東京都千代田区、代表取締役社長：島田 明、以下「NTT」）と株式会社IMAGICA GROUP（本社：東京都港区、代表取締役社長：布施 信夫、以下「IMAGICA GROUP」）は、IOWN（*1）時代のリアル・サイバー融合空間の表現・演出技法に関する総合的な共同検討に着手しました。本共同検討を通じ、NTTの映像音声・3次元空間情報・感性情報などの処理に関する先進技術と、IMAGICA GROUPのクリエイティブとテクノロジーを掛け合わせることで、IOWNの高度なデジタルツインコンピューティングによって可能となる、新たなメディア体験やコミュニケーションUI/UXの具体化に取り組みます。

1.背景と目的
　NTTは、さまざまなパートナーと連携し、IOWNをはじめとする革新的な情報ネットワークやコミュニケーション基盤に関する研究開発を進めています。IMAGICA GROUPは、映像の企画から制作、映像編集、配信・流通に至るまで、高品質で多様なサービスや製品をグローバルにワンストップで提供しています。また、グループを横断した研究開発組織を構え、技術の集積・深化を進めながら新技術の開発にも積極的に取り組んでいます。
　これまでNTTとIMAGICA GROUPは、（一社）映像配信高度化機構の会員企業として高精細・高臨場映像提供の共同実証に取り組むなど、様々な連携を図ってまいりました。今回の共同検討の開始によって、空間とヒトの超リアルかつ環世界的なデジタルツインコンピューティングの実現に向け、従来の映像制作・提供の分野に限らず、リアルとサイバーが融合、共生する空間の表現・演出技法の検討を進めていく予定です。

2. 共同検討の概要
（1）リアル・サイバー融合型の新たなコミュニケーションの創造
　地域社会においては、既存の地域課題に加えてコミュニティの変化にともなう教育や医療等における新しい課題も抱えており、その解決に向けて、地域外の「関係人口」と呼ばれる人材が、地域づくりの新たな担い手になることが期待されています。他方、人の活動の場はリアル空間から、SNSやWeb会議などのオンライン空間、さらにメタバースに代表されるサイバー空間へと拡大・多様化しています。
　そこで、本共同検討においては、「関係人口」の拡大に向けて、空間とヒトのデジタルツインコンピューティングによって自宅に居ながら観光地等に没入できるフォトリアルなサイバー空間を構築し、リアルとサイバーが融合した新しいコミュニケーションの創造をめざします。具体的には、NTTで研究開発中の3D空間メディア処理技術やAnother Me®（*2）関連技術に代表される各種メディア処理／AI技術と、IMAGICA GROUPが保有する高精細・高臨場な映像・コンテンツ制作ノウハウを組み合わせることでこれを実現します。
　このような取り組みの第一歩として、NTTがNTT西日本、特定非営利活動法人男木島生活研究所、有限会社ケノヒと共に発足しました、地域共創推進に向けた「TENGUN Ogijimaプロジェクト」（*3）において、両社による検討結果を活用していくことを予定しています。

（2）ICTによるエンタメコンテンツの高付加価値化
　音楽、演劇を中心とするライブエンタメは、人々の暮らしをより豊かにする重要な検討対象であり、NTTとIMAGICA GROUPは、これまでも音楽ライブを題材とし、横方向12Kピクセルの超高精細映像と様々なメディア情報を組み合わせて同期伝送することで、ライブエンタメ丸ごとを遠隔地で体感できる未来型のライブビューイングの価値を実証してきました（*4）。
　昨今、デジタル化やリモート文化の広まりにより、音楽ライブ等のライブイベントを現地会場以外でも楽しむ機会が増えています。しかしながら、現地に居るような一体感や熱狂といった情動体験をリモート環境で得ることは難しいと考えています。NTTは、ヒトのデジタルツインコンピューティングにより、観客の情動状態を推定・モデル化し、それをもとに視覚や触覚といった知覚に刺激を与えることで、各ユーザが望む楽しみ方に合わせた仮想ライブ空間を生成する技術を検討してまいりました。
　本共同検討では、NTTの技術とIMAGICA GROUPの新たなメディア体験に関する企画・演出の掛け合わせにより、仮想ライブ空間でのこれまでにない魅力的なメディア体験の創出をめざします。
　また、より魅力的なライブエンタメコンテンツを提供する技法として、立体空間表示・表現を用いた演出や、伝統技能・芸能における技の継承および、それを活用したライブエンタメ内での表現や演出についても検討を進めていく予定です。

（3）環世界の考え方に基づく多様なコンテンツ・メディア提供方法の検討
　ドイツの生物学者ヤーコプ・フォン・ユクスキュル博士によって、「さまざまな生物はそれぞれ、種特有の知覚世界＝環世界を持って生きており、その主体として行動している」、という考え方が提唱されています。NTTでは、この環世界の考え方に基づき、IOWNが創り出す新たなUI/UXとして、受け手側の人、モノ、環境などの多様性、それぞれの価値観に応じて、伝えるべき情報やその処理の仕方を変化させられる情報提供の方法について検討しています。
　本共同検討では、視覚や聴覚に限らないマルチモーダルなコンテンツ、ユーザ毎の感覚、嗜好、感情、行動などにあわせてインタラクティブに変わるコンテンツなど、多様な受け手の価値に応じたコンテンツの提供やメディア体験の実現もめざします。
　具体的には、NTTで研究開発を進めている、「周囲の音情報を正確に集音し、周囲の状況を理解したうえで、適切に音を制御するパーソナライズドサウンドゾーン技術（*5）」、「人間の目で把握困難な被写体の性質を見分けられるハイパースペクトル画像を、通常サイズのデジタルカメラで撮影可能とするハイパースペクトル圧縮撮像技術（*6）」、「映像や音に加えて、振動による触覚を提示することで、より臨場感のある体験を実現する高臨場感提示技術」などをコンテンツやメディア体験に適用し、従来の映像音声の提供に留まらない新たな価値を提供するための表現・演出技法について検討を進める予定です。

3. 今後の予定
　本共同検討の結果に基づきフィールド実証等を進めることで、ユーザ価値の可視化や評価を行い、革新的技術の創出をめざします。また、大阪・関西万博など、より広くその価値を体験頂けるフィールドや機会を検討し、IOWN時代の豊かな社会の具現化に貢献してまいります。

*1 IOWN（Innovative Optical and Wireless Network）は、光を中心とした革新的技術を活用した高速大容量通信、膨大な計算リソース等を提供可能な、端末を含むネットワーク・情報処理基盤です。IOWNは主に、ネットワークだけでなく端末処理まで光化する「オールフォトニクスネットワーク」、サイバー空間上でモノやヒト同士の高度かつリアルタイムなインタラクションを可能とする「デジタルツインコンピューティング」、それらを含む様々なICTリソースを効率的に配備する「コグニティブファウンデーション」の3つで構成されます。IOWNにより、通信分野に留まらず、多岐にわたる分野で多彩なサービスと新しい価値を創出し、豊かな社会の実現に貢献していきます。
URL: (リンク »)

*2 Another Me：実在の人をデジタル上に再現した"もう一人の自分"Another Meが、現実世界の制約を超えて本人として社会の中で自律的に活動し、その結果を本人自身の経験として共有することにより、人が活躍し成長する機会を飛躍的に増やすことをめざすビジョン。
URL: (リンク »)

*3 地域共創推進に向けた「TENGUN Ogijimaプロジェクト」発足 ～IOWNで実現されるフォトリアルな「男木島」メタバースによる、関係人口創出・拡大をめざした共同検討を開始～
URL: (リンク »)

*4 世界初：12 Kワイド映像と照明を同期した未来型ライブビューイングを実施 最先端ライブスペクタクル「VISIONS SUPER LIVE VIEWING supported by LDH」
URL: (リンク »)

*5 "究極のプライベート音空間を実現するメディア処理," NTT技術ジャーナル. 2020.10, pp.52-56.

*6 世界初、通常のデジタルカメラにメタレンズとAIを組み合わせてハイパースペクトル画像・動画の取得を実現する技術を確立 ～光技術とAIの融合で「普通のカメラ」を「モノの性質が見えるカメラ」に～
URL: (リンク »)