AI coding tools may not speed up every developer, study shows | TechCrunch
最近の研究によると、AIコーディングツールがすべての開発者の生産性を向上させるわけではないことが示されています。特に、METRという非営利のAI研究団体が行った新しい研究では、経験豊富なオープンソース開発者16人を対象に、AIツールを使用した場合と使用しなかった場合のタスク完了時間を比較しました。
結果、AIツールを使用した場合、開発者のタスク完了時間が19%も増加したことがわかりました。これは、開発者がAIに指示を出したり、応答を待ったりする時間が長くなったためと考えられています。
研究に参加した開発者のうち、CursorというAIツールの使用経験があったのは56%に過ぎず、ほとんどの開発者は他のウェブベースの大規模言語モデル（LLM）を使用していました。
このため、AIツールがすぐに生産性を向上させるとは限らないという結論に至りました。研究者たちは、AIツールが特に大規模で複雑なコードベースにおいては効果的でないことも指摘しています。
ただし、研究者たちはこの結果を過度に一般化することは避けており、他の大規模な研究ではAIツールが生産性を向上させることが示されています。
AI技術は急速に進化しており、数ヶ月後には異なる結果が得られる可能性もあるとしています。したがって、開発者はAIツールの使用が必ずしも自分のワークフローを加速するとは限らないことを認識する必要があります。
この研究は、AIコーディングツールの効果に対する懐疑的な見方を強調しており、開発者がこれらのツールを使用する際には慎重になるべきであることを示唆しています。
AIツールがもたらす生産性向上の約束が、すべての開発者に当てはまるわけではないことを理解することが重要です。
Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity
https://metr.org/Early_2025_AI_Experienced_OS_Devs_Study.pdf
