AI面对虚假信息的“信念”测试：大语言模型的认知冲突与对策
引言
在人工智能（AI）技术飞速发展的今天，生成式AI的能力让我们不禁思考：当AI遇到虚假信息时，它会如何反应？最近，来自清华大学、上海交通大学、斯坦福大学和南洋理工大学的研究人员对这一话题进行了深入探讨，并在ACL 2024会议上展示了他们的研究成果。
虚假信息的挑战
随着生成式AI技术的进步，创建和传播虚假信息变得越来越容易。这些信息不仅包括文本，还涵盖了图像、音频和视频等多种形式。虚假信息的泛滥对社会构成了严重威胁，尤其是在误导公众舆论和决策方面。
大语言模型的“信念”测试
研究人员构建了一个名为Farm（Fact to Misinform Dataset）的数据集，包含1500个事实性问题及其相关的误导性信息。通过多轮对话测试，他们发现即使是像GPT-4这样最先进的大语言模型，也有高达20.7%的可能性被虚假信息所影响。
主要发现
- 易受虚假信息影响：所有测试的模型在多轮测试后的误导率从20%-80%不等。
- 先进模型的抵抗力更强：GPT-4模型能以80%的概率坚持自己的事实信念。
- 重复信息的欺骗力：多次重复的虚假信息比单次输出的信息更能影响模型。
- 修辞劝说的效果：复杂的修辞手法能增加模型改变看法的概率。
- 逻辑性说服的有效性：模型对逻辑连贯的信息特别敏感，无论是真是假。
AI的反应类型
在面对虚假信息时，AI表现出了五种不同的行为：拒绝、奉承、不确定、接受和自我不一致。这些行为揭示了AI在处理错误信息时的复杂性。
提升抗虚假信息干扰能力
研究者提出了一种轻量级解决方案：在检测到虚假信息后，使用safety system prompt提醒大模型，并在回答前检索相关信息。这种方法在一定程度上减少了虚假信息的影响。
OpenAI的看法
OpenAI在其最新的AI模型行为准则中提到了“认知冲突”的处理，强调了模型在面对与已知事实相冲突的信息时应如何反应。
研究启发
这项研究揭示了大语言模型在处理认知冲突时的行为表现，同时也指出了模型的局限性。未来的研究可以从模型的内在机理和训练数据中进行溯源分析，提高AI的可解释性，并探索更多潜力。
结论
AI在处理虚假信息方面的能力仍然有限，但通过不断的研究和改进，我们可以提高其识别和抵抗虚假信息的能力，从而使其更加安全和可靠。