Microsoftの「Copilot Vision」は、画面に表示されている内容をAIが分析・要約し、ユーザーの質問に答える便利な機能である。スマートフォンのカメラで写した現実世界の物体や印刷された文書、あるいはPCで表示しているウェブページなどを対象に利用できる。Copilotは、画面上の情報を読み取ることで内容を理解し、リアルタイムに文脈に合ったサポートを提供することを目指している。
Copilot Visionは、「iPhone」や「Android」スマートフォン、そしてPC上の「Microsoft Edge」ブラウザーで利用可能である。現在、一部の機能は全てのCopilotユーザーが無料で使えるが、Vision機能など特定の機能を利用するには、有料プランの「Copilot Pro」が必要になる。例えば、Edgeで現在表示しているウェブページを分析する機能は誰でも利用できるが、スマートフォンでCopilot Visionを使うためにはCopilot Proへの加入が必須となる。
Copilot Visionは、有害なコンテンツや成人向けコンテンツを含むサイトを除き、ほとんどのウェブサイトで機能する。ただし、アクセスが制限されていたり、ログインや有料購読が必要なウェブページの内容を読み取ったりはできない。サポートされていないサイトでVision機能を使おうとすると、Copilotのアイコンがグレー表示になり、眼鏡に斜線の入ったマークが表示され、ページのコンテンツに関する応答を拒否する。
プライバシーへの配慮から、ユーザーからのリクエスト内容や分析対象となるページのコンテンツ自体は、キャプチャーされたり保存されたりすることはない。ただし、Copilot自身の応答内容は、Microsoftが安全でない会話を監視する目的でログに記録される。このログデータも、セッション終了後には全て削除されることになっている。
Copilot Visionは、自然言語での対話が可能な「Copilot Voice」を通じて利用する。音声は、それぞれ個性的な8種類の声から選択でき、話す速度を速めたり遅くしたり調整可能である。
Copilotとの会話が終わったら、メイン画面に戻り、ハンバーガーアイコン(三本線のメニューアイコン)をタップすると、最近のチャット履歴が表示される。リストの一番上にあるチャットをタップすれば、直前に行った会話の記録を確認できる。
スマートフォンでCopilot Visionを使えば、写真、模型、絵画、衣類、動植物といった現実世界のさまざまなものや、あらゆる種類の印刷物について、説明を求めたり情報を得たりできる。一方、PCのEdgeでは、サポートされているウェブページの詳細情報を取得可能である。以下では、スマートフォンとPCそれぞれでCopilot Visionを活用し、時間を節約するための具体的な方法を紹介する。
モバイルデバイスでの使い方
まず、スマートフォンやタブレットでCopilot Visionを使う手順を見ていこう。iPhoneまたはAndroidでこの機能を利用するには、Copilot Proが必須である。また、Copilotアプリが未インストールの場合は、公式アプリストアから入手し、Microsoftアカウントでサインインする。

※クリックすると拡大画像が見られます
アプリ画面下部にあるマイクのアイコンをタップし、Copilot Voiceの画面を開く。次に、眼鏡のアイコンをタップしてCopilot Visionモードに切り替える。スマートフォンを、調べたい人、場所、物、あるいは印刷された書類などに向ける。そして、それについて説明や分析をするようCopilotに話しかける。
特定のアイテムについて具体的な質問も可能である。Copilotは、カメラに映し出されたものを認識・理解し、それに基づいて応答する。幾つかの具体的な使用例を見てみよう。
1. ポスターを分析する
ここでは、「Amazing Spider-Man」の第1号の表紙が描かれたポスターをCopilot Visionに見せた。Copilotが正しく表紙を認識した後、このコミックの保存状態が良い(ミントコンディションの)実物の価格を尋ねたところ、「100万ドル以上」という回答が得られた。

※クリックすると拡大画像が見られます
2. 模型について質問する
次に、Star Trekに登場する宇宙船「Enterprise」の模型をCopilot Visionに見せた。AIの能力を試すため、あえて船名は言わずに「この船の乗組員は何人ですか?」と尋ねたところ、「430人」という正確な答えが返ってきた。

※クリックすると拡大画像が見られます
3. 衣服について質問する
この例では、Winston Churchillが愛用したことで知られるタイプの山高帽をAIに見せた。「この帽子はいつ頃作られたものですか?」と尋ねると、Copilotはその起源について説明してくれた。

※クリックすると拡大画像が見られます
4. 印刷された文書の内容を確認する
ここでは、衛星ラジオサービス「SiriusXM」のチャンネルリストが印刷された紙をCopilot Visionに見せた。「このリストにビートルズ専門チャンネルはありますか?」と尋ねたところ、該当するチャンネル名を正確に回答した。

※クリックすると拡大画像が見られます