New Relicは米国時間6月24日、生成AIを開発、展開、監視する複雑さとコストを削減することを目的に、同社プラットフォームと「NVIDIA NIM」推論マイクロサービスとの統合を発表した。現在、「New Relic AI Monitoring」を使うことで、NVIDIA NIMで構築したアプリケーション用AIスタック全体に対する幅広い可視性を簡略化された設定と強化されたデータセキュリティで得ることができる。
New Relic AI Monitoringは、データプライバシーを担保しながらスループット、レイテンシー、コストに関する主要なメトリクスとともにAIスタックの幅広いビューを提供する。また、AIアプリケーションの内部構造を理解できるよう、サービスやモデルのリクエストフローも追跡する。
New Relicは、自社の監視機能をNVIDIA NIMに拡張することで、Databricksの「DBRX」、 Googleの「Gemma」、Metaの「Llama 3」、Microsoftの「Phi-3」、Mistral AIの「Mistral Larg」「Mixtral 8x22B」、Snowflakeの「Arctic」を含む幅広いAIモデルをサポートする。これにより、組織は、NVIDIA NIMを使って構築したAIアプリケーションを不安なく展開でき、市場投入までの時間を短縮し、投資収益率（ROI）を向上させることができるとNew Relicは語る。
AI監視のための主要機能とユースケースとして、同社は以下を挙げる。
- AIスタック全体の可視性：アプリケーション、NVIDIA製GPUベースのインフラ、AIレイヤー、応答品質、トークンカウント、APMゴールデンシグナルの全体的なビューにより問題を迅速に検出する。
- 全てのレスポンスに対する詳細な追跡の洞察：バイアス、トクシシティー、ハルシネーションといったパフォーマンスと品質に関する問題をAIレスポンスのライフサイクルを追跡することで解決する。
- モデルインベントリー：NVIDIA NIM推論マイクロサービス全体にわたって主要メトリクスを一元的に追跡することで、モデルに関連したパフォーマンス、エラー、コストの問題を容易に切り分けることを可能にする。
- モデルの比較：本番環境で稼働するNVIDIA NIM推論マイクロサービスのパフォーマンスを単一のビューで比較し、インフラとユーザーニーズに基づいてモデルの選択を最適化する。
- GPUに関する詳細な洞察：GPU利用率、温度、パフォーマンス状況といった重要な高速コンピューティングメトリクスを分析し、コンテキストを理解し、問題を迅速に解決する。
- 拡張されたデータセキュリティ：NVIDIAのセルフホステッドモデルが持つセキュリティ上の優位性に加え、New Relicは、機密データ（PII）の監視をAIリクエストとレスポンスから除外する。
今回の統合は、NVIDIAのAIOpsパートナーエコシステムにNew Relicが加わったことに続くもの。New Relicによると、NVIDIA製GPUや「NVIDIA Triton Inference Server」を含む60以上のAI統合とともに、最も拡張可能なオブザーバビリティソリューションを提供するという。
