人工知能（AI）企業は、AIエージェントを仕事の未来とみなして力を入れているが、AI研究の先駆者の1人はそれに逆行し、シンプルなシステムを提唱している。
受賞歴のあるディープラーニング研究者のYoshua Bengio氏はカナダで現地時間6月3日、AI非営利組織LawZeroを設立した。プレスリリースによると、LawZeroは「安全性を念頭に設計されたAIシステムの研究推進と技術ソリューションの開発に取り組む」組織とされている。最初の目標の1つは「Scientist AI」の開発だ。この「非エージェント型AIシステム」は、他のAIシステムを抑制するガードレールの機能を目的としている。他のAI研究機関も同様のコンセプトを研究して、自律エージェントの監視やハルシネーション（幻覚：AIが事実と異なる情報を勝手に作り出してしまう現象）の軽減を目指している。
Scientist AIに関する論文には、「このシステムの目的は観察を通して世界を説明することだ。世界の中で行動を起こして、人間を模倣したり喜ばせたりするものではない」と書かれている。Scientist AIは世界のデータに関する理論を生成し、不確実性を考慮して動作することで、過信を防げるように設計されている（過信はチャットボットなどでよく発生する問題だ）。
Bengio氏と共同執筆者は、このような設計のシステムが、AIの安全性の取り組みなど、科学技術の飛躍的な進歩に貢献する可能性がある、と提言する。
論文には次のように記されている。「最終的には、非エージェント型AIに注力することで、AIイノベーションのメリットを実現しつつ、現在の方向性に伴うリスクを回避できるだろう。こうした議論がきっかけとなって、研究者や開発者、政策立案者がこの安全な道筋を選ぶことを願う」
モントリオール大学で教授を務めるBengio氏は、生成AIの基盤技術であるディープラーニングの研究で知られており、2018年にはチューリング賞を獲得した。AIの先駆者の1人であり、この分野で最も頻繁に論文を引用される専門家の1人だが、AIの能力を抑制せずに放置した場合に社会が受ける影響について、長年にわたり懸念を表明している。
同氏の懸念は、特に最近になって現実のものとなりつつあるようだ。「現在の最先端のAIモデルは、欺瞞（ぎまん）、自己防衛、目標の不一致など、危険な能力や挙動が強まっている」。LawZeroはプレスリリースでこのように指摘し、複数のAI企業による最近の研究とレッドチーミングの結果に言及した。OpenAIは4月、ユーザーへの過度な迎合を理由にモデルのアップデートを撤回した。この特性がユーザーに悪用された場合、危険な結果を招くおそれがある。Anthropicは同じく4月に、「Claude」がマルウェアの生成や偽情報キャンペーンに実際に悪用されていることを確認した。中国のAIスタートアップDeepSeekのモデルは、簡単に脱獄できることが実証されている。
