「AIモデルは推論時間が長くなるほど敵対的攻撃に強くなる」というOpenAIの研究結果
AIを意図的に混乱させようとする敵対的攻撃に対する防衛策として、推論時間が長ければ長いほど効果的とする研究結果をOpenAIが発表しました。
gigazine.net
OpenAIの最新の研究によると、AIモデルは推論時間が長くなるほど敵対的攻撃に対して強固になることが示されました。この研究は、AIが「考える」ために時間とリソースを費やすことで、様々な攻撃に対する耐性が向上することを明らかにしています。
- 敵対的攻撃の脅威: AIモデルが敵対的攻撃に脆弱であると、開発者の意図しない利用が生じる可能性があります。そのため、長年にわたり防衛策が研究されています。
- 推論時間の影響: OpenAIは、o1-previewとo1-miniという自社のAIモデルを使用し、数学の問題や画像を用いた攻撃を実施しました。結果として、推論時間が増加するにつれて、攻撃の成功確率が低下することが確認されました。
- 攻撃手法の分析: 特に「メニーショット・ジェイルブレイキング」という手法において、推論時間が長いほど攻撃が失敗しやすいことが示されました。攻撃者のリソース量が増えても、推論時間が多ければ攻撃は成功しにくいという結果が得られました。
- 限界と今後の課題: ただし、特定のプロンプトを用いた攻撃では、推論時間が増えても成功確率が下がらない場合がありました。また、攻撃者がAIモデルに考えさせない方法で欺く可能性も示唆されています。
OpenAIは、敵対的攻撃に対する防衛策の重要性が増していると強調しています。今回の研究は、推論時間の調整がAIモデルの頑健性を向上させる有望な兆候であると考えられていますが、依然として解決すべき課題が残っています。
