上下文窗口“愚蠢区”现象引热议

开发者tdinh_me在X平台发文称，当上下文窗口达到“愚蠢区”时，模型表现会变得疯狂。该推文获得7次点赞和1560次浏览，引发社区对长上下文模型性能下降的讨论。用户普遍反映，在超长对话或文档处理中，模型可能遗忘早期信息或产生逻辑混乱，这一现象被称为“愚蠢区”。目前尚无官方解释，但推测与注意力机制和位置编码有关。