Microsoftは米国時間4月16日、「Copilot Studio」に「computer use」機能を追加したと発表した。作成したエージェントが、デスクトップアプリやウェブサイトと連携して、ユーザーと同じように特定のアクションを実行できるようになる。
同機能は、早期アクセスの研究プレビューとして提供されている。エージェントはアプリケーションやウェブサイト上にあるボタンをクリックしたり、メニューを選択したり、画面上のフィールドやフォームに情報を入力したりできるようになる。アプリケーションやウェブサイト用にAPIが提供されていない場合でも、インタラクティブなタスクを実行可能だ。Microsoftは「人がアプリを使えるなら、エージェントも使える」と表現している。
作成されたエージェントは、タスクを自律的に実行するために、「Edge」「Chrome」「Firefox」といった主要なブラウザーを用いてタスクを自律的に実行する。この機能自体は、Microsoftがホストするバックエンド上で動作するため、ユーザー自身でサーバーやシステムを用意する必要はない。生成されたデータは同社のクラウド上に保持される。同社のAIモデルのトレーニングに使用されることはない。
エージェントはデスクトップアプリやウェブサイトの変更に自動的に適応できるため、ボタンや画面が変更された場合でも修正する必要はない。エージェントは画面を「見る」ことができるので、ユーザーが指示しなくてもリアルタイムに何をすべきか、どうすべきかを判断できる。さらに、問題や障害に対処するための推論能力も組み込まれているため、問題が発生しても介入する必要はない。
プログラミングやコーディングは不要で、AIエージェントを作成できる。Copilot Studioのプロンプトで、エージェントに何をしてほしいかを自然言語で記述するだけだ。シミュレーションモードでステップの実行を確認しながら、エージェントを実際に稼働させる前にプロンプトをテストし、微調整できる。また、エージェントのコンピューター使用履歴をスクリーンショットや推論ステップとともに確認可能となっている。
Microsoftのブログ投稿では、AIエージェントを活用する3つの例が挙げられている。
- 自動データ入力：異なるソースから大量のデータをシステムに入力する必要がある場合、AIエージェントがこの作業を引き受け、時間、労力、手作業を削減できる
- 市場調査：マーケティング担当者が分析のためにオンラインのさまざまなソースからデータを収集する必要がある場合、AIエージェントが自動的にサイトを巡回し、必要な情報を収集できる
- 請求書処理：財務担当者が請求書からデータを抽出し、会計システムに情報を追加する必要がある場合、AIエージェントが自動的にデータを取得し、適切なシステムに転送できる
提供：Microsoft
この記事は海外Ziff Davis発の記事を朝日インタラクティブが日本向けに編集したものです。
