EACL(European Chapter of the Association for Computational Linguistics)は、自然言語処理分野における世界最大の学会であるACL(Association for Computational Linguistics)のヨーロッパ支部が主催するカンファレンスです。2026年3月24日から29日にかけてモロッコ・ラバトで開催される「EACL2026」において、本採択論文について発表を行います。
■採択論文
TimeMachine-bench: A Benchmark for Evaluating Model Capabilities in Repository-Level Migration Tasks
Ryo Fujii*, Makoto Morishita*, Kazuki Yano, Jun Suzuki *当社所属
(リンク »)
【研究概要】
本稿は、実世界のPythonプロジェクトにおけるソフトウェアマイグレーションを評価するために設計されたベンチマーク「TimeMachine-bench」を提案したものです。
ソフトウェア開発において、依存ライブラリの更新に伴う問題を解決し、ユーザコードを新たな環境に適応させる「マイグレーション」は大きな負担ですが、大規模言語モデルの実用的なマイグレーション能力を評価するベンチマークはこれまで十分に検討されてきませんでした。先行研究が対象を一部の主要なライブラリに限定していたのに対し、本研究では日付でフィルタリングしたバージョン情報を依存関係解決器に与えることで、解決器側のアルゴリズムに手を加えることなく、エコシステム全体にまたがる過去の環境を厳密に再現する手法を提案しました。これにより、時間経過によってテストが失敗するリポジトリを自動抽出し、1,145件からなる「TimeMachine-bench」を構築しました。実験では、容易な課題に関する自動化の可能性が示された一方で、過剰な修正やテストの抜け穴をつくといった、LLMの信頼性に関する課題も浮き彫りとなりました。
【フューチャー株式会社 Strategic AI Group リサーチエンジニア 藤井諒】
この度、主著論文が自然言語処理分野の主要国際会議であるEACLに採択されたことを光栄に思います。本研究は国立大学法人東北大学との共同研究の成果であり、多大なるご支援をいただきました共著者の皆様、およびご協力いただいた方々に深く感謝申し上げます。
引き続き、産学の連携を深め、本分野における研究の発展とその社会還元に貢献してまいります。
フューチャーでは AI に特化した専門組織「Strategic AI Group」を中心にリサーチエンジニアや AI エンジニアを積極的に育成・採用し、自然言語処理および生成 AI の学術研究・研究開発を進めています。2024年には国内生成AIの開発力強化プロジェクト「GENIAC」(※2)の支援を受け、「日本語とソフトウェア開発に特化した基盤モデル」を一般公開しました。2025年からは、社員の博士号取得を支援する社会人ドクター支援制度「Future PhD Support Program」(※3)を導入し、AIをはじめ先端技術人材の育成を加速しています。また、研究開発のみならず主要事業会社のフューチャーアーキテクト(本社:東京都品川区、代表取締役社長:谷口友彦)とともに、AI社会実装ナンバーワンカンパニーを目指し、お客様の経営やビジネスに貢献するAIの導入も加速させています。
今後も最先端の研究と科学的なコンサルティングアプローチでお客様の業務と IT をトータルにデザインし、新たな価値を創造します。
※1.「EACL2026」公式サイト: (リンク »)
※2.GENIAC (リンク »)
NEDO採択事業 (リンク »)
「日本語とソフトウェア開発に特化した基盤モデル」公開URL
(リンク »)
※3.フューチャー、社会人ドクター支援制度「Future PhD Support Program」を導入
(リンク »)
企業プレスリリース詳細へ (リンク »)
PRTIMESトップへ (リンク »)

お問い合わせにつきましては発表元企業までお願いいたします。

