騒々しいレストランで一緒に食事をしている人に、話が聞き取れなかったので繰り返してほしいと頼むのも、3回目ともなれば気まずいものだ。
しかし、Facebookの研究者が取り組んでいる研究がうまくいけば、そんなときにいちかばちか曖昧な回答を返して、相手に変に思われないか試してみなくても済むようになるかもしれない。
最先端の拡張現実(AR)/仮想現実(VR)ヘッドセットを生み出そうとしている研究部門であるFacebook Reality Labs(FRL)は、生活の中で、ユーザーが注意を払っている音に「ズームイン」してその音だけを強化する一方で、会話の妨げになるようなうるさい背景ノイズを抑えられる可能性のある新技術を開発している。
Ravish Mehra氏が率いる研究チームは、これを「知覚のスーパーパワー(perceptual superpowers)」と呼んでいる。現時点では、プロトタイプのカナル型モニターイヤホンが存在するだけで、これを既製のアイトラッキング(視線追跡)デバイスと組み合わせてユーザーが何に注目しているかを把握し、注意を引いたものの音量を上げる仕組みになっている。
Facebookは何年も前からサウンドレンダリングに関心を持っており、これまでは、「Oculus Quest」と「Oculus Rift」を使ったARとVRのために、リアルな音響体験を生み出すことに力を入れてきた。「私たちはVRでこの研究を始め、それがARに変わったが、そのうちに、私たちが開発しているこれらの技術がより重要な目的に使えることに気づいた。それは、人間の聴覚を改善することだ」とMehra氏は述べている。
Mehra氏とそのチームの最終的な目的は、ARグラスを使って知覚的なスーパーパワーを実現し、1つのプラットフォーム上で視覚環境と音響に関する機能を統合することだ。例えば、この技術をFacebookの「LiveMaps」と組み合わせれば、ユーザーの周囲の物理的な物体と音の視覚的なマップを作ることも可能だ。
レストランに足を踏み入れたら、人々の会話や、エアコンのノイズ、食器や銀器の音などの、ARグラスを装着している人の周囲で起こっているさまざまな出来事を識別できるようにすることも考えられる。その後、ARグラスがコンテキストを理解できる人工知能(AI)を使って、邪魔になるノイズを取り除く一方、ユーザーが注意を払うべき音を大きくするようなこともできる。
補聴器の仕組みと似ていると思った人がいるとすれば、それは実際に似ているからだ。Facebookは、ARグラスに関する研究と並行して、この技術を応用して難聴に苦しむ人々を助ける取り組みを模索する計画も持っている。同社は、この研究を推進するために、聴覚科学の専門家であるThomas Lunner氏を招いた。