New Relicは12月6日、「New Relic AI Monitoring（AIM）」の提供を発表した。AIアプリケーション向けアプリケーションパフォーマンス管理（APM）として、パフォーマンス、品質、コスト、コンプライアンスの最適化を可能にする。
同日に開催された製品発表会で技術統括 コンサルティング部 兼 プロダクト技術部 部長を務める齊藤恒太氏は、「ChatGPT」などの生成AIの登場により、AIへの期待が高まる一方で、その利用にはブラックボックス的なところがあると指摘した。
そのため、（1）大規模言語モデル（LLM）やベクトルデータベースといった従来にない技術要素にも対応可能なパフォーマンスチューニング、（2）AIの回答がバイアスや幻覚症状（ハルシネーショ）、有害性を排除し、公平性を確保する品質管理、（3）LLMやリソースの利用料を適正化するコスト管理、（4）成熟していないAI関連規制の中での監査やコンプライアンス順守ーーといった課題が発生しているという。
これら課題に対応し、AIアプリケーションをブラックボックスのままにせず、適切に管理できるよう、AIMを提供したと齊藤氏は説明する。
AIMは以下の機能を備える。
- 自動計装：New Relicのエージェントには、完全なAIスタックの可視化、応答トレース、モデル比較などを含むあらゆるAIM機能が用意されており、迅速かつ簡単に設定可能
- フルスタックAIの可視性：応答品質やトークンなどのAIメトリクスとAPMゴールデンシグナルを含む、アプリケーション、インフラ、AIレイヤーにわたる全体的なビューを提供
- 全てのLLM応答の詳細なトレースに関する洞察：「LangChain」などのツールで構築された複雑なLLM応答のライフサイクルを追跡し、バイアス、有害性、幻覚症状などのパフォーマンスの問題や品質問題を修正
- パフォーマンスとコストの比較：全てのモデルの使用状況、パフォーマンス、品質、コストを単一ビューで追跡。よく使われるプロンプト、思考の連鎖（Chain of Thought）、プロンプトのテンプレートやキャッシュに関する洞察によりAIの使用を最適化
- 責任あるAIの使用を可能に：応答がAIによって生成されたことを示す適切なタグを付与し、バイアス、有害性、幻覚症状がないことを検証することにより、安全なAIの使用が可能
- AIエコシステムの監視：50以上のインテグレーションをサポートし、あらゆるAIエコシステムのスタック全体を監視。オーケストレーションフレームワークではLangChain、LLMではOpenAI、「PaLM2」「HuggingFace」、機械学習ライブラリーでは「Pytorch」「TensorFlow」、機械学習サービスでは「Amazon SageMaker」「AzureML」、ベクトルデータベースでは「Pinecone」「Weaviate」「Milvus」「FAISS」、AIインフラでは「Azure」「Amazon Web Services（AWS）」「GCP」に対応
New Relic AI Monitoringの画面
AIMは、「Amazon Bedrock」と連携して、詳細なエンドツーエンドのオブザーバビリティを実現する。AIMのビルトインインテグレーション（LangChainなど）により、Amazon Bedrockの顧客は、生のプロンプトから、修正されビジネスに適合したレスポンスに至るまで、LLMプロンプトとレスポンスのライフサイクル全体にわたるメトリクスとトレースを取得できる。
