AI自信回复不该碰的邮件：RAG系统置信度失效调查

开发者Varshith Reddy Aileni在个人项目InboxSync中发现，其基于RAG的邮件回复建议系统对所有输入均返回0.85的置信度，包括垃圾邮件、自动回复和拒绝邮件。该系统使用GPT-4o-mini生成回复，pgvector存储训练样本，但置信度字段未实际反映模型不确定性。五个对抗性测试均获得流畅但不当的回复，如对垃圾邮件回复感谢，对自动回复回复将跟进，可能引发无限循环。文章探讨了RAG系统在超出知识范围时无法识别的问题，并分析了置信度计算缺陷。