OpenAI、Webタスク代行エージェント「Operator」のリスク対策を説明
OpenAIは、ユーザーに代わってWeb上のタスクを代行するAIエージェント「Operator」の安全対策とリスク評価文書「Operator System Card」を公開した。「悪意のある人物がこの技術を悪用しようとする可能性があることは...続きを読む
www.itmedia.co.jp
OpenAIは、2025年1月23日にWebタスク代行エージェント「Operator」のリリースに先立ち、安全対策とリスク評価をまとめた文書「Operator System Card」を公開しました。このエージェントは、ユーザーの指示に基づいてWeb上のタスクを自動的に実行することができます。具体的なタスクには、食料品の注文や旅行の計画、イベントチケットの購入などが含まれます。
主なリスクと対策
OpenAIは、Operatorが持つリスクを以下の3つに分類し、それぞれに対策を講じています。
- 有害なタスク
- 悪意のあるタスクを要求される可能性があるため、特定の有害なタスクを拒否するように訓練されています。
- 例として、違法薬物の購入や個人情報の不正取得、高リスクの株式取引などが含まれます。
- モデルの誤り
- モデルがユーザーの意図に反するアクションを実行する可能性があるため、重要なアクションの前にユーザーに確認を求める設計がされています。
- 例えば、購入を完了する前に「送信しますか？」と確認する機能があります。
- プロンプトインジェクション
- 悪意のある指示に従うリスクがあるため、モデルはこの種の攻撃に対して強化されています。
- 疑わしいプロンプトインジェクションが検出された場合には、実行を一時停止するモニターも導入されています。
プライバシー対策
- ユーザーはChatGPTの設定で「すべての人のためにモデルを改善する」を無効にすることで、Operatorのデータがモデルのトレーニングに使用されないようにできます。
OpenAIは、悪意のある利用者がこの技術を悪用する可能性を認識しており、リスクに対する安全対策を講じていますが、「完璧なシステムは存在せず、これはまだ研究プレビュー段階である」と述べています。
