「Claude 3 Opus」が「GPT-4」を抜き1位に--Chatbot Arenaランキングで

Lance Whitney (Special to ZDNET.com) 翻訳校正: 編集部

2024-03-29 12:40

 人工知能(AI)スタートアップのAnthropicが提供する大規模言語モデル(LLM)「Claude 3 Opus」が米国時間3月26日、AIチャットボットの能力を比較できる「Chatbot Arena」のランキングで、OpenAIの「GPT-4」を抜いて、首位に輝いた。

Claudeの画面
提供:Lance Whitney/ZDNET

 Chatbot Arenaは、さまざまなAIモデルの有効性をテストし、比較できるサイトだ。カリフォルニア大学バークレー校の学生と教授陣らによる、オープンな研究組織Large Model Systems Organization(LMSYS Org)が、2023年5月に立ち上げた。Claudeは今回初めて、同サイトのリーダーボード(順位表)でGPT-4モデルを2位に押しやり、トップに立った。

Chatbot Arenaのリーダーボード(順位表)
提供:Chatbot Arena

 Claude 3 Opusは開発者向けAPIとClaude 3ウェブサイトで利用できる。Claude 3の3つのモデルの1つで、ほかに「Sonnet」と「Haiku」がある。同社によると、Claude 3は従来の「Claude 2」「Claude 2.1」と同程度のスピードだが、その知識ははるかに高度だという。

 Chatbot Arenaはクラウドソーシングの手法を用いており、誰でも利用できる。チャットページでは、Claude、「GPT-3.5」、GPT-4のほか、Googleの「Gemini」、Metaの「Llama 2」など、32種類のAIモデルの中から、2つのモデルの回答が表示される。プロンプトを入力すると、2つの回答は「モデルA」および「モデルB」として提供され、どのAIモデルによる回答なのかは知らされない。

 ユーザーはそれぞれの回答を読んだ後に、AとBのどちらを好むか、あるいは同等だと見なすかを選択する。評価を送信して初めて、2つのAIモデルが明かされるようになっている。

Chatbot Arenaに表示された2つの回答
提供:Chatbot Arena

 LMYSY Orgはユーザーの投票を基に、相対評価で実力を示すイロ(Elo)レーティングを用いて、LLMランキングを決定する。最新のリーダーボードでは、Claude 3 Opusが1253のスコアを獲得して首位に立ち、「GPT-4-1106-preview」がスコア1251で2位となった。

 最新ランキングで評価が高かったその他のLLMには、「GPT-4-0125-preview」、Googleの「Gemini Pro」、「Claude 3 Sonnet」「GPT-4-0314」「Claude 3 Haiku」などがある。トップ10に、Anthropicの最新のClaude 3モデルがすべてランクインしているのは、注目に値するだろう。

この記事は海外Red Ventures発の記事を朝日インタラクティブが日本向けに編集したものです。

ZDNET Japan 記事を毎朝メールでまとめ読み(登録無料)

ホワイトペーパー

新着

ランキング

  1. セキュリティ

    「デジタル・フォレンジック」から始まるセキュリティ災禍論--活用したいIT業界の防災マニュアル

  2. 運用管理

    「無線LANがつながらない」という問い合わせにAIで対応、トラブル解決の切り札とは

  3. 運用管理

    Oracle DatabaseのAzure移行時におけるポイント、移行前に確認しておきたい障害対策

  4. 運用管理

    Google Chrome ブラウザ がセキュリティを強化、ゼロトラスト移行で高まるブラウザの重要性

  5. ビジネスアプリケーション

    技術進化でさらに発展するデータサイエンス/アナリティクス、最新の6大トレンドを解説

ZDNET Japan クイックポール

注目している大規模言語モデル(LLM)を教えてください

NEWSLETTERS

エンタープライズ・コンピューティングの最前線を配信

ZDNET Japanは、CIOとITマネージャーを対象に、ビジネス課題の解決とITを活用した新たな価値創造を支援します。
ITビジネス全般については、CNET Japanをご覧ください。

このサイトでは、利用状況の把握や広告配信などのために、Cookieなどを使用してアクセスデータを取得・利用しています。 これ以降ページを遷移した場合、Cookieなどの設定や使用に同意したことになります。
Cookieなどの設定や使用の詳細、オプトアウトについては詳細をご覧ください。
[ 閉じる ]