New Relic、「New Relic AI Monitoring」提供--AIアプリケーション向けAPM

河部恭紀 (編集部)

2023-12-07 07:27

 New Relicは12月6日、「New Relic AI Monitoring(AIM)」の提供を発表した。AIアプリケーション向けアプリケーションパフォーマンス管理(APM)として、パフォーマンス、品質、コスト、コンプライアンスの最適化を可能にする。

 同日に開催された製品発表会で技術統括 コンサルティング部 兼 プロダクト技術部 部長を務める齊藤恒太氏は、「ChatGPT」などの生成AIの登場により、AIへの期待が高まる一方で、その利用にはブラックボックス的なところがあると指摘した。

 そのため、(1)大規模言語モデル(LLM)やベクトルデータベースといった従来にない技術要素にも対応可能なパフォーマンスチューニング、(2)AIの回答がバイアスや幻覚症状(ハルシネーショ)、有害性を排除し、公平性を確保する品質管理、(3)LLMやリソースの利用料を適正化するコスト管理、(4)成熟していないAI関連規制の中での監査やコンプライアンス順守ーーといった課題が発生しているという。

 これら課題に対応し、AIアプリケーションをブラックボックスのままにせず、適切に管理できるよう、AIMを提供したと齊藤氏は説明する。

画像1

 AIMは以下の機能を備える。

  • 自動計装:New Relicのエージェントには、完全なAIスタックの可視化、応答トレース、モデル比較などを含むあらゆるAIM機能が用意されており、迅速かつ簡単に設定可能
  • フルスタックAIの可視性:応答品質やトークンなどのAIメトリクスとAPMゴールデンシグナルを含む、アプリケーション、インフラ、AIレイヤーにわたる全体的なビューを提供
  • 全てのLLM応答の詳細なトレースに関する洞察:「LangChain」などのツールで構築された複雑なLLM応答のライフサイクルを追跡し、バイアス、有害性、幻覚症状などのパフォーマンスの問題や品質問題を修正
  • パフォーマンスとコストの比較:全てのモデルの使用状況、パフォーマンス、品質、コストを単一ビューで追跡。よく使われるプロンプト、思考の連鎖(Chain of Thought)、プロンプトのテンプレートやキャッシュに関する洞察によりAIの使用を最適化
  • 責任あるAIの使用を可能に:応答がAIによって生成されたことを示す適切なタグを付与し、バイアス、有害性、幻覚症状がないことを検証することにより、安全なAIの使用が可能
  • AIエコシステムの監視:50以上のインテグレーションをサポートし、あらゆるAIエコシステムのスタック全体を監視。オーケストレーションフレームワークではLangChain、LLMではOpenAI、「PaLM2」「HuggingFace」、機械学習ライブラリーでは「Pytorch」「TensorFlow」、機械学習サービスでは「Amazon SageMaker」「AzureML」、ベクトルデータベースでは「Pinecone」「Weaviate」「Milvus」「FAISS」、AIインフラでは「Azure」「Amazon Web Services(AWS)」「GCP」に対応

New Relic AI Monitoringの画面
New Relic AI Monitoringの画面

 AIMは、「Amazon Bedrock」と連携して、詳細なエンドツーエンドのオブザーバビリティを実現する。AIMのビルトインインテグレーション(LangChainなど)により、Amazon Bedrockの顧客は、生のプロンプトから、修正されビジネスに適合したレスポンスに至るまで、LLMプロンプトとレスポンスのライフサイクル全体にわたるメトリクスとトレースを取得できる。

ZDNET Japan 記事を毎朝メールでまとめ読み(登録無料)

NEWSLETTERS

エンタープライズ・コンピューティングの最前線を配信

ZDNET Japanは、CIOとITマネージャーを対象に、ビジネス課題の解決とITを活用した新たな価値創造を支援します。
ITビジネス全般については、CNET Japanをご覧ください。

このサイトでは、利用状況の把握や広告配信などのために、Cookieなどを使用してアクセスデータを取得・利用しています。 これ以降ページを遷移した場合、Cookieなどの設定や使用に同意したことになります。
Cookieなどの設定や使用の詳細、オプトアウトについては詳細をご覧ください。
[ 閉じる ]