Asking chatbots for short answers can increase hallucinations, study finds | TechCrunch
Asking chatbots for short answers can increase hallucinations, study finds | TechCrunch
Turns out, telling an AI chatbot to be concise could make it hallucinate more than it otherwise would have.
techcrunch.com
AIチャットボットに短い回答を求めることが、モデルの幻覚（事実を捏造すること）を増加させる可能性があることが示されました。
この研究は、パリに拠点を置くAIテスト会社Giskardによって行われ、特にあいまいなトピックに関する質問に対して短い回答を求めるプロンプトがAIモデルの事実性に悪影響を及ぼすことが発見されました。
具体的には、短い回答を求める指示がモデルの幻覚（ハルシネーション）の傾向に劇的な影響を与え、データ使用量の削減やコストの最小化を優先するアプリケーションにとって重要な意味を持つことが確認されました。さらに、短い回答を求めるあいまいな質問が幻覚を悪化させることが特定され、主要なモデルは短い回答を求められると事実の正確性が低下することが分かりました。
この研究は、AIチャットボットの設計において、ユーザー体験の最適化が事実の正確性を犠牲にする可能性があることを示唆しており、特に短い回答を求めるプロンプトがモデルの能力に与える影響を考慮することが重要です。
Good answers are not necessarily factual answers: an analysis of hallucination in leading LLMs
https://huggingface.co/blog/davidberenstein1957/phare-analysis-of-hallucination-in-leading-llms
