虚假信息穿上“AI外衣” 西安建大科研团队破解其识别与治理难题

12月22日，起点新闻·西部网记者从西安建筑科技大学获悉，西安建筑科技大学管理学院智能管理与决策团队在人工智能虚假信息识别与治理研究领域取得重要进展，首次揭示了AI虚假信息的质量调节效应，为政府推进数字安全和网络生态治理提供了关键技术支撑。相关研究成果于近日发表在Nature（《自然》）子刊Nature Communications（《自然—通讯》）杂志上。

随着生成式人工智能技术的广泛应用，虚假信息的生产与传播方式正在发生深刻变化。与传统人工编造的谣言不同，AI虚假信息在语言流畅性和结构完整性方面更具迷惑性，给识别与治理带来了新的挑战。尽管近年来学界普遍尝试利用AI参与事实核查与虚假信息检测，但在实际应用中，其识别效果并不总是稳定可靠。

AI虚假信息语言特征与检测局限研究框架图

各质量组LIWC 分析与K-S检验结果

针对这一现实问题，研究团队综合运用心理语言学分析、语言毒性与错误检测、语法依存结构和词性组合分析，并结合零样本提示实验与误判样本分析，开展了多维度实证研究。研究首次提出并验证了“AI虚假内容的质量调节效应”，即随着生成内容质量的提高，AI文本在创造性、表达规范性和整体可读性上逐渐逼近人类写作，同时其可被检测的语言差异却不断减弱。这一发现表明，当AI被用于高质量“洗稿”或细节捏造时，无论是普通读者，还是现有依赖大型语言模型的检测工具，其识别难度都会显著增加。研究结果不仅揭示了单纯依赖语言特征或大型模型进行虚假信息检测所面临的潜在风险，也为理解AI生成文本的认知加工机制提供了新的证据支持。

“本研究为政府监管部门、互联网平台及相关管理机构在制定AI信息治理策略、优化AI虚假检测技术和完善风险预警体系方面提供了重要参考。”论文作者张新生教授表示，团队未来将深入开展多模态AI虚假信息的治理研究，为推动人工智能安全应用与社会治理现代化提供更坚实的科学依据。

起点新闻记者 李卓然 通讯员 肖雯雯

审核 贾存真 张建成