随着大模型加速落地，AI幻觉正从技术问题演变为社会议题。6月12日，第21期南都数字经济治理沙龙以“AI出错股票有没有杠杆，谁为模型‘幻觉’买单？”为主题举行。
中国信息通信研究院人工智能研究所安全治理部主任石霖在会上表示，大模型“幻觉”已成为当前人工智能应用面临的重要挑战。现有研究表明，幻觉难以从根本上彻底消除，但可通过数据治理、模型优化和推理增强等手段持续降低发生概率。
从“编造事实”到法律风险，AI幻觉影响正在外溢据石霖介绍，“幻觉”原本是心理学概念，指在没有客观刺激的情况下产生的知觉体验。延伸到人工智能领域，大模型幻觉主要表现为模型生成的内容不符合用户输入要求，或者与客观事实不一致。目前，业内通常将其划分为“忠实性幻觉”和“事实性幻觉”两类。
其中，忠实性幻觉是指模型未能严格遵循用户指令完成任务。例如，用户要求将中文翻译成英文，但模型输出了其他语言内容；事实性幻觉则是指模型生成与现实情况不符的信息，例如对图片内容进行错误描述等。
石霖指出，从当前行业研究和实践情况来看，忠实性幻觉已成为影响大模型应用的重要问题之一。
随着大模型广泛应用于办公、搜索、教育和咨询等场景，幻觉带来的风险日益凸显。石霖表示，错误信息可能导致用户形成认知偏差，在医疗健康等专业场景甚至可能产生误导性建议。同时，大模型“编造”内容还可能引发名誉侵权、虚假信息传播等法律风险。
石霖还分享了工作中的案例，提醒大模型生成内容需进行必要核验，不能完全替代人工判断。
幻觉无法彻底消除，但可以被缓解和控制AI幻觉从何而来？在石霖看来，这并非单一因素导致，而是贯穿于数据准备、模型训练和推理生成全过程。
在数据层面，训练数据中的错误信息、偏见内容以及知识覆盖不足等问题，都会影响模型输出质量。特别是在长尾知识、新知识以及部分受法律法规限制的信息领域，模型可能存在知识缺失或知识边界问题，从而增加幻觉发生概率。
在训练阶段，由于大模型本质上基于概率预测机制生成内容，更关注语言模式和上下文关联，而非事实验证，因此容易产生偏差。同时，在模型对齐过程中，模型往往倾向于生成更符合人类偏好的答案，而不一定是最准确的答案，这也可能带来一定程度的幻觉风险。
在推理阶段，模型可能表现出过度自信倾向。当面对语义相近或复杂问题时，容易在细节上出现错误。此外，长链条推理过程中出现的信息累积偏差，以及模型蒸馏、量化压缩等技术处理，也可能进一步放大幻觉问题。
针对幻觉问题，目前学术界和产业界已经开展了大量检测和治理研究。例如，通过构建事实核查机制、引入外部知识库、建立专门评测数据集等方式识别和评估模型幻觉风险；通过数据清洗、检索增强生成（RAG）、模型架构优化和推理增强等技术手段降低幻觉发生概率。
不过，石霖强调，从现有研究结论来看，大模型幻觉难以从根本上被彻底消除。由于大语言模型基于概率生成的技术原理，其本身存在一定的固有局限性，因此当前行业更多是通过技术手段对幻觉进行缓解和控制，而非完全消灭幻觉。
他同时提醒，用户在使用大模型时，也应充分认识其能力边界和不确定性。尽管思维链等推理机制能够在一定程度上降低幻觉率，但目前并没有充分证据表明推理过程越长、越复杂，幻觉就一定越少。
值得关注的是，石霖提到，围绕幻觉是否完全有害，学术界和产业界也存在一些讨论。他表示，幻觉本质上是一种偏离事实或既有认知的表达，但在部分观点看来，这种非线性的生成方式也可能与创造性、创新性存在一定关联。因此，对于幻觉现象的认识仍存在不同视角。
石霖还披露了中国信通院在大模型幻觉领域的最新研究成果。据介绍，中国信通院自去年开始构建包含5000余条样本的幻觉测试集，从忠实性和事实性两个维度开展专项评测。研究发现，当前主流模型的事实性幻觉总体低于忠实性幻觉，后者已成为影响模型可靠性的重要问题。
测试结果还显示，在同类型模型中，参数规模越大，整体幻觉率越低。与此同时，推理模型相较于传统通用模型表现出更好的幻觉控制能力，在一定程度上有助于缓解幻觉问题，但并不能完全消除幻觉；而经过蒸馏压缩的模型，则可能出现忠实性幻觉增加的问题。
石霖表示，未来需要通过技术创新、安全治理和标准建设等多方面协同推进，不断提升人工智能系统的真实性、可靠性和可信度，推动人工智能产业健康有序发展。
采写：南都N视频记者 黄莉玲 发自北京股票有没有杠杆
文章为作者独立观点，不代表联华证券-股票配资机构-券商股票配资观点
相关文章
