GitHubの研究者は最近、人工知能（AI）支援ツールを使った開発者の生産性を測定するために、同社のコード補完ツール「GitHub Copilot」を使用したグループと、人間の能力だけに頼ったグループのコーディングの速度を比較する実験を行った。
提供：Hinterhaus Productions
GitHub Copilotは、6月に公開されたAIペアプログラミングサービスで、1ユーザー当たり月額10ドル（約1400円）、あるいは年額100ドル（約1万4000円）で利用できる。このサービスのリリース後、研究者らは、こうしたAIツールが本当に開発者の生産性向上につながるのかどうかを調べようとしてきた。問題は、パフォーマンスの変化を計測できる適切な評価指標を見つけるのが簡単ではないことだ。
Copilotは、Microsoftの「Visual Studio Code」などのコードエディターで、拡張機能を介して使用されている。複数のプログラミング言語に対応しており、自動的にコードが作成されて提案され、ユーザーはそれを採用したり、却下したり、編集して利用したりすることができる。提案を作成しているのは、OpenAIの「Codex」だ。Codexは自然言語をコードに変換するシステムで、OpenAIが開発した言語モデルである「GPT-3」をベースにしている。
Google ResearchとGoogle Brain Teamは7月、同社の1万人以上の開発者を対象として、AIによるコードの提案が生産性に与える影響を調査した結果を公開したが、相対的なパフォーマンスの速度に関する議論は「未解決」のままだと結論づけている。ただしレポートでは、従来のルールベースのセマンティックエンジンと、Codex/Copilotのような大規模な言語モデルの組み合わせは、「コードの補完機能が改善されるため、開発者の生産性を大きく向上させることができる」とも述べている。
しかし、どうすれば生産性を計測できるのだろうか。4月に公開された、別の研究グループが開発者24人の小規模なサンプルを使って行った研究では、Copilotを使用しても、タスクを完了するために必要な時間や、成功率は必ずしも改善されなかった。ただしこの研究では、Copilotが、開発者が特定の問題を解決するコードスニペットを検索する手間を省いてくれることも明らかになった。これは、CopilotのようなAIツールが、開発者が問題解決のためにエディター環境を離れたり戻ってきたりする際に発生するコンテキストの切り替えをどれだけ減らせるかという重要な指標になる。
GitHubも、「GitHub Copilotを使用した開発者は生産性が向上したと感じているか」といった疑問に答えるため、2600人以上の開発者を対象として調査を実施した。同社の研究者は、大量のテレメトリー情報にアクセスできるという独自のメリットも生かして調査を行い、その結果を6月に公表している。レポートによれば、Copilotを使ったユーザーの60％から75％が、仕事に感じる満足感が高まり、コーディングの際に感じるフラストレーションが減り、満足度の高い仕事に集中できるようになったという。
