Perplexityは米国時間2月11日、独自モデル「Sonar」の最新版を発表した。Metaのオープンソースモデル「Llama 3.3 70B」をベースにしており、「回答の質とユーザー体験の最適化」を目指している。同社によると、検索モードでの回答の可読性と正確性を向上させるように訓練されているという。
同社は、Sonarが「GPT-4o mini」や「Claude」よりも事実性と可読性の点で高いスコアを獲得したと主張している。同社は事実性を「検索結果に裏付けられた事実を用いて質問に回答できるモデルの能力、そして矛盾する情報や欠落した情報を解決する能力」の尺度と定義している。ただし、これを測定する外部機関のベンチマークは存在しない。
その代わりに、Perplexityは、Sonarと「GPT-4o」「Claude 3.5 Sonnet」などの競合モデルの回答を並べたスクリーンショットを幾つか示している。筆者の考えでは、それらは率直さ、情報の完全さ、読みやすさに違いがあり、多くの場合、Sonarの整理されたフォーマット（これは主観的な好みだが）と引用の多さが好まれる。ただし、これは情報源の質ではなく、量についてのみ言及している。チャットボットが引用する情報源は、PerplexityとOpenAIがそれぞれの親会社の出版社やメディアパートナーとの契約にも影響される。
さらに重要なのは、これらの例にはクエリー自体が含まれておらず、回答のみが表示されていることだ。また、Perplexityは回答をどのように取得したか、または回答をどのように評価したかという方法については明示しておらず、クエリーの違いや実行したクエリーの数についても明らかにしていない。「違いが分かる」かどうかの比較は個人の判断に任されている。
Perplexityによる比較の一例（提供：Perplexity）
※クリックすると拡大画像が見られます
米ZDNETはPerplexityにコメントを求めたところ、Perplexityは、オンラインA/Bテストの結果、ユーザーがGPT-4o mini、「Claude 3.5 Haiku」、Claude 3.5 SonnetよりもSonarに対してより高い満足度を示し、興味を持っていることが分かったと述べた。しかしながら、具体的な結果の詳細については明らかにしなかった。
「Sonarは、GPT-4o miniやClaude 3.5 Haikuといった同クラスのモデルを大きく上回る性能を示し、さらにGPT-4oやClaude 3.5 Sonnetのような最先端モデルと同等かそれ以上のユーザー満足度を達成している」と、Perplexityは発表している。
同社によると、Sonarは1秒当たり1200トークンの速度でクエリーに回答し、「Gemini 2.0 Flash」の10倍の速度で動作するという。テストでは、SonarがGPT-4o miniとClaude 3.5 Haikuを「大幅に」上回ったことが示されたが、同社はそのテストの詳細を明らかにしていない。同社はまた、Sonarがより高価な最先端モデルであるClaude 3.5 Sonnetを上回りつつ、「GPT-4oの性能に近づいている」と述べている。
最新版のSonarは、「Perplexity Pro」のユーザーが利用でき、デフォルトのモデルとして設定したり、「Sonar API」を通じてアクセスしたりできる。
提供：Olemedia/Getty Images
この記事は海外Ziff Davis発の記事を朝日インタラクティブが日本向けに編集したものです。
