AI firms follow DeepSeek’s lead, create cheaper models with “distillation” – Ars Technica
403 Forbidden
arstechnica.com
最近、OpenAI、Microsoft、Metaなどの主要なAI企業が「蒸留」という技術を活用して、よりコスト効率の良いAIモデルの開発に取り組んでいます。
この技術は、中国のDeepSeekがオープンソースのAIシステムを基に強力なモデルを構築したことで注目を集め、シリコンバレーの競争力に疑問を投げかけています。蒸留は、大規模なAIモデル（教師モデル）からデータを生成し、それを使って小型のモデル（学生モデル）を訓練するプロセスです。この方法により、企業は大規模モデルの性能を維持しつつ、コストと計算リソースを大幅に削減できます。
例えば、OpenAIのGPT-4やGoogleのGeminiなどの大規模モデルは、開発に数億ドルのコストがかかりますが、蒸留を利用することで、開発者はこれらの機能を低価格で利用できるようになります。
しかし、蒸留されたモデルは特定のタスクに特化しているため、全体的な機能性は制限されることがあります。
この技術の進展は、オープンソースのAI開発に関する議論を引き起こしており、MetaのAI責任者はオープンソースの理念を支持しています。一方で、OpenAIは自社のモデルが不正に蒸留されることを防ぐための対策を講じています。蒸留技術は、AIのアクセス性を高める一方で、競争環境を激化させ、企業は新たな戦略を模索する必要に迫られています。
