OpenAI used this subreddit to test AI persuasion | TechCrunch
OpenAI used this subreddit to test AI persuasion | TechCrunch
OpenAI used the subreddit, r/ChangeMyView, to create a test for measuring the persuasive abilities of its AI reasoning m...続きを読む
techcrunch.com
OpenAIは、サブレディット「r/ChangeMyView」を利用して、AIの説得力を測定するテストを実施しました。この情報は、新しい推論モデル「o3-mini」と共に発表されたシステムカードに記載されています。このサブレディットは、ユーザーが意見を投稿し、他のユーザーが反論を行う場として知られており、高品質な人間生成データをAIモデルの訓練に活用するための貴重なリソースです。
OpenAIは、r/ChangeMyViewから投稿を収集し、AIモデルに対してその投稿に対する説得力のある返信を生成させます。生成された返信はテスターによって評価され、AIの応答は人間の返信と比較されます。OpenAIはRedditとのコンテンツライセンス契約を結んでいますが、この評価はその契約とは無関係であると述べています。
o3-miniモデルは、以前のモデルと比較しても高い説得力を示し、80～90パーセンタイルの人間の中で強い能力を持つことが確認されています。OpenAIは、AIモデルが過度に説得力を持たないようにすることを目指しており、倫理的な観点からもそのバランスを取ることが重要であると認識しています。
