Anthropic、悪用リスク増大を受けAIモデルの安全管理ポリシーを改定

Tiernan Ray (Special to ZDNET.com) 翻訳校正: 矢倉美登里 長谷睦 (ガリレオ)

2024-10-18 10:22

 大規模言語モデル(LLM)「Claude」ファミリーの開発元であるAnthropicが、米国時間10月15日付で、自社ソフトウェアの安全管理ポリシーを改定した。同社はこれについて、悪意ある主体が人工知能(AI)モデルを悪用してサイバー攻撃を自動化する可能性があることを反映したものだとしている。

 公開されたPDF形式の文書は、Anthropicの「責任あるスケーリングポリシー」を詳述したもので、同社がAIモデルが悪用される継続的リスクのモニタリングに必要だとする、複数の手続き上の変更が概説されている。その中では、リスクの上昇に呼応した複数のレベルが設定されている。これは「AI安全レベル基準」(ASL:AI Safety Level Standards)と呼ばれるもので、ポリシー内では「技術および運用上の防護策」と定義されている。

 AIモデルの安全性に関するAnthropicの「定期検査」(「能力評価」と呼ばれる)の一環として、同社は「大々的な調査を要し、さらに強力な防護策が必要な可能性もある」能力を発見していくとしている。

 この能力は、サイバー運用における脅威だと説明されている。これは「高度な破壊的サイバー攻撃を大幅に強化または自動化する能力」であり、「ゼロデイ攻撃を実行可能な新しいエクスプロイトチェーンの発見や、複雑なマルウェアの開発、検知が困難な広範なネットワーク侵入の画策を含むが、これらに限定されるものではない」という。

 今回公開された文書には、この件を継続的に調べるために今後とられる措置が以下のように説明されている。

 「これには、サイバー運用の専門家と協働して、フロンティアモデルによるサイバー脅威の増幅ないし緩和という、両方の可能性を評価することや、高度なサイバー能力を備えたモデルについては階層型のアクセス制御の実装や段階的導入を検討することが含まれる。専門的な評価を含め、導入前か導入後のどちらかに検査を行う。そこで重大な検査結果があれば、『能力レポート』(Capability Report)とともに文書化する」

 現時点で、AnthropicのAIモデルはすべて、ASLの「レベル2」の要件を満たさなければならないと、同社は述べている。レベル2とは「日和見的な攻撃者の大半を阻止するとみられるセキュリティシステムが必要となる」段階で、具体的には「ベンダーとサプライヤーによるセキュリティ評価や、物理的なセキュリティ対策、セキュアバイデザインの原則の採用が含まれる」と今回公開された文書には書かれている。

提供:Just_Super/Getty Images
提供:Just_Super/Getty Images

この記事は海外Ziff Davis発の記事を朝日インタラクティブが日本向けに編集したものです。

ZDNET Japan 記事を毎朝メールでまとめ読み(登録無料)

ホワイトペーパー

新着

ランキング

  1. セキュリティ

    初心者にも優しく解説!ゼロトラストネットワークアクセスのメリットと効果的な導入法

  2. ビジネスアプリケーション

    改めて知っておきたい、生成AI活用が期待される業務と3つのリスク

  3. ビジネスアプリケーション

    ITR調査結果から導くDX浸透・定着化-“9割の国内企業がDX推進中も成果が出ているのはごく一部”

  4. セキュリティ

    「iPhone」の業務活用を促進!セキュリティ対策で必ず押さえておきたいポイントとは?

  5. ビジネスアプリケーション

    Google が推奨する生成 AI のスタートアップガイド、 AI を活用して市場投入への時間を短縮

ZDNET Japan クイックポール

所属する組織のデータ活用状況はどの段階にありますか?

NEWSLETTERS

エンタープライズコンピューティングの最前線を配信

ZDNET Japanは、CIOとITマネージャーを対象に、ビジネス課題の解決とITを活用した新たな価値創造を支援します。
ITビジネス全般については、CNET Japanをご覧ください。

このサイトでは、利用状況の把握や広告配信などのために、Cookieなどを使用してアクセスデータを取得・利用しています。 これ以降ページを遷移した場合、Cookieなどの設定や使用に同意したことになります。
Cookieなどの設定や使用の詳細、オプトアウトについては詳細をご覧ください。
[ 閉じる ]