构建大模型幻觉及其价值风险的预防治理体系

4个月前 来源:新华网 观看:103

当前,大模型正以日新月异的速度变革人类社会,其以强大的文字、图像与视频生成能力,带给人们学习工作的效率革命与范式创新。越来越多人将大模型应用于日常实践活动,然而在此过程中,部分用户由于缺乏必要的媒介素养和信息验证习惯,很容易被表面严丝合缝的人工智能幻觉蒙蔽欺骗,无条件信任大模型输出的所有答案,进而对生活、学习或工作产生不良影响,引发决策误导、认知偏差等风险。在推动大模型广泛应用过程中,必须警惕与治理大模型幻觉问题及其价值风险,加快构建集技术优化、法律规制与伦理调适于一体的预防治理体系。uTC即热新闻——关注每天科技社会生活新变化gihot.com

大模型幻觉的生成原因uTC即热新闻——关注每天科技社会生活新变化gihot.com

在人工智能领域,幻觉特指大模型生成的内容看似语法正确、逻辑严谨,但实际上存在着事实错误或无法验证事实的现象,具有“一本正经胡说八道”、无法确认现实依据等特征。大模型的幻觉包括事实性幻觉与忠实性幻觉两种类型,前者指的是与事实不一致或存在事实捏造,后者指的是生成内容与用户指令不一致、上下文不一致或逻辑不一致。uTC即热新闻——关注每天科技社会生活新变化gihot.com

在本质上,大模型的幻觉问题是其技术架构、训练和生成模式共同作用的产物,具有一般性、偶然性、随机性、难以避免或克服等特征。在生成机制上,大模型幻觉的核心成因来自概率驱动的技术架构、训练数据局限性以及人机互动生成逻辑的多重耦合。uTC即热新闻——关注每天科技社会生活新变化gihot.com

首先是技术架构的能力短板。目前大模型主要采取基于转换器结构的GPT范式,这种技术架构确能大幅度提高自然语言处理的精度与效率,但在预训练、监督微调、推理等环节都可能存在能力短板,产生与事实、指令或上下文不一致的幻觉问题。例如在预训练阶段,大模型通过自回归生成方式,基于历史标记的概率分布逐词预测输出。这种机制天然缺乏对上下文语义一致性的把控能力,容易优先选择概率更高但与事实、逻辑不一致的词汇组合,输出形成“语法正确但内容失真”的幻觉。uTC即热新闻——关注每天科技社会生活新变化gihot.com

其次是训练数据的天然缺陷。大模型基于互联网海量数据进行深度学习,但由于互联网语料并未经过严格检验处理,或者由于错误标注,不可避免存在事实错误或逻辑矛盾,大模型缺乏对数据真实性的鉴别能力,容易抓取或根据错误数据生成回答。例如,当要求GPT4大模型讲述“林黛玉倒拔垂杨柳”的故事时,大模型并不能辨析其中的陷阱,而是未经事实验证直接从海量文本数据中进行内容拼接,编造出一段荒谬情节。uTC即热新闻——关注每天科技社会生活新变化gihot.com

最后是人机互动的刻板误伤。大模型采取的人类反馈强化学习,容易导致大模型在刻意逢迎人类需求过程中出现信口开河、事实伪造等问题。如加拿大航空聊天机器人在错误理解“特殊退款”概念后,连续生成虚构的退款条件与时限,最终酿成法律纠纷。大模型特有的技术架构和生成逻辑,导致幻觉具有自我强化的危险性。uTC即热新闻——关注每天科技社会生活新变化gihot.com

大模型幻觉的价值风险uTC即热新闻——关注每天科技社会生活新变化gihot.com

大模型幻觉的随机出现和难以避免,还存在着削弱人机信任、导向信息极化、冲击社会秩序甚至引发意识形态安全危机等价值风险,亟待加强预防与治理。uTC即热新闻——关注每天科技社会生活新变化gihot.com

大模型幻觉最直接的危害就是对用户决策的误导,特别是在医疗、健康、金融等领域。大模型的权威性表达风格与流畅的叙事逻辑,使得错误信息具有极强的迷惑性。如果用户过于依赖大模型生成信息辅助决策,很有可能被误导进而产生严重后果。例如,相信大模型提供的错误治疗方案,可能导致疾病无法控制甚至进一步恶化。长此以往,恐将削弱人机信任关系。uTC即热新闻——关注每天科技社会生活新变化gihot.com

更令人担忧的是,大模型幻觉引发的价值风险呈现出从个人决策误导向群体认知偏差、社会秩序冲击的扩散路径。在公共决策领域,幻觉可能扭曲政策认知,如果不加强对大模型输出信息的甄别与把关,很有可能出现误读政策、发表歧视言论等幻觉问题,不仅会削弱政府公信力,甚至会危及社会公共安全。uTC即热新闻——关注每天科技社会生活新变化gihot.com

在意识形态安全领域,相关威胁更加隐蔽。例如,相关研究监测到,某些境外大模型带着意识形态的有色眼镜看待中国特色社会主义发展成就与制度优势,刻意混入虚假事实或错误评价,形成与主流话语不同的输出。这种经过意识形态包装的幻觉内容,通过知识问答形式进行价值渗透,其误导性远超传统虚假信息。uTC即热新闻——关注每天科技社会生活新变化gihot.com

大模型幻觉的治理对策uTC即热新闻——关注每天科技社会生活新变化gihot.com

预防与治理大模型幻觉,应构建技术纠偏、法律规制与伦理调适的三维治理体系,通过技术优化消除幻觉问题,借助法律规制明确责任边界,依托伦理调适培育价值理性,使大模型成为人类更可靠的合作伙伴。uTC即热新闻——关注每天科技社会生活新变化gihot.com

构建多层次防治体系。“以技治技”是解决大模型幻觉问题的首选路径。人工智能伦理的“价值敏感设计”或价值对齐策略,也有赖于技术层面创新与突破。这不仅需要人工智能企业与专家通过提高训练数据质量、加强外部验证与事实检查、改进模型推理能力、增强透明度与可解释性等途径提升大模型性能,而且鼓励哲学社会科学专家与人工智能专家携手合作,通过知识库优化、训练语料纠错、价值对齐监测等途径,帮助大模型提高问答正确率,消除潜在的幻觉问题与价值风险。uTC即热新闻——关注每天科技社会生活新变化gihot.com

建立适应性治理框架。面对大模型的普及化应用,敏捷、柔性、规范的立法治理势在必行。国家网信办等七部门颁布实施《生成式人工智能服务管理暂行办法》,对训练数据选择、模型生成与优化、服务提供等提出明确的法律规制与风险防范要求,有利于推动“智能向善”,促进大模型的合规应用。欧盟《人工智能法案》要求大模型履行告知义务、确保技术方案的稳健性和可靠性等规范要求,对大模型的应用形成有效的制度约束和问责框架,值得参考借鉴。uTC即热新闻——关注每天科技社会生活新变化gihot.com

提高技术开发应用的价值基准。对大模型幻觉更有意义的治理创新在于建立技术价值观,将负责任创新、可控创造性等伦理价值融入工程师的头脑、植入大模型的代码。例如,倡导存在争议结论不生成、无法溯源的信息不生成、超出模型认知边界的内容不生成等原则,推动大模型从追求生成流畅度向确保内容可靠性转型;又如,建立大模型回答事实性问题分级置信提示制度,按照高可信、需核实、推测性结论等进行分类标注,加强输出内容的透明度与可解释性。uTC即热新闻——关注每天科技社会生活新变化gihot.com

对用户而言,应进一步提高科学正确应用大模型的信息素养,进而成为引导内容生成的指挥官、幻觉问题的甄别者。研究表明,经过人工智能交叉验证等使用习惯培训,能够显著降低用户被幻觉误导的概率。人们需要与时俱进地提升自身辨析幻觉、掌握常识、批判思考的综合能力,在利用大模型检索信息、生成内容的过程中遵守履行事实核查、逻辑验证、专业甄别、最小必要、场景控制等价值原则,最大限度消除幻觉问题和价值风险。uTC即热新闻——关注每天科技社会生活新变化gihot.com

人工智能的可靠性建设往往滞后于其能力扩展。治理大模型幻觉的终极目标不是完全消灭技术的不确定性,而是要建立风险可控的人机协同机制。在这场人机协同的赛博进化中,始终保持技术的谦逊与伦理的清醒,是破除大模型幻觉迷雾的应有之义。uTC即热新闻——关注每天科技社会生活新变化gihot.com

(作者:李凌,系复旦大学马克思主义研究院副研究员)uTC即热新闻——关注每天科技社会生活新变化gihot.com

当前,大模型正以日新月异的速度变革人类社会,其以强大的文字、图像与视频生成能力,带给人们学习工作的效率革命与范式创新。越来越多人将大模型应用于日常实践活动,然而在此过程中,部分用户由于缺乏必要的媒介素养和信息验证习惯,很容易被表面严丝合缝的人工智能幻觉蒙蔽欺骗,无条件信任大模型输出的所有答案,进而对生活、学习或工作产生不良影响,引发决策误导、认知偏差等风险。在推动大模型广泛应用过程中,必须警惕与治理大模型幻觉问题及其价值风险,加快构建集技术优化、法律规制与伦理调适于一体的预防治理体系。uTC即热新闻——关注每天科技社会生活新变化gihot.com

大模型幻觉的生成原因uTC即热新闻——关注每天科技社会生活新变化gihot.com

在人工智能领域,幻觉特指大模型生成的内容看似语法正确、逻辑严谨,但实际上存在着事实错误或无法验证事实的现象,具有“一本正经胡说八道”、无法确认现实依据等特征。大模型的幻觉包括事实性幻觉与忠实性幻觉两种类型,前者指的是与事实不一致或存在事实捏造,后者指的是生成内容与用户指令不一致、上下文不一致或逻辑不一致。uTC即热新闻——关注每天科技社会生活新变化gihot.com

在本质上,大模型的幻觉问题是其技术架构、训练和生成模式共同作用的产物,具有一般性、偶然性、随机性、难以避免或克服等特征。在生成机制上,大模型幻觉的核心成因来自概率驱动的技术架构、训练数据局限性以及人机互动生成逻辑的多重耦合。uTC即热新闻——关注每天科技社会生活新变化gihot.com

首先是技术架构的能力短板。目前大模型主要采取基于转换器结构的GPT范式,这种技术架构确能大幅度提高自然语言处理的精度与效率,但在预训练、监督微调、推理等环节都可能存在能力短板,产生与事实、指令或上下文不一致的幻觉问题。例如在预训练阶段,大模型通过自回归生成方式,基于历史标记的概率分布逐词预测输出。这种机制天然缺乏对上下文语义一致性的把控能力,容易优先选择概率更高但与事实、逻辑不一致的词汇组合,输出形成“语法正确但内容失真”的幻觉。uTC即热新闻——关注每天科技社会生活新变化gihot.com

其次是训练数据的天然缺陷。大模型基于互联网海量数据进行深度学习,但由于互联网语料并未经过严格检验处理,或者由于错误标注,不可避免存在事实错误或逻辑矛盾,大模型缺乏对数据真实性的鉴别能力,容易抓取或根据错误数据生成回答。例如,当要求GPT4大模型讲述“林黛玉倒拔垂杨柳”的故事时,大模型并不能辨析其中的陷阱,而是未经事实验证直接从海量文本数据中进行内容拼接,编造出一段荒谬情节。uTC即热新闻——关注每天科技社会生活新变化gihot.com

最后是人机互动的刻板误伤。大模型采取的人类反馈强化学习,容易导致大模型在刻意逢迎人类需求过程中出现信口开河、事实伪造等问题。如加拿大航空聊天机器人在错误理解“特殊退款”概念后,连续生成虚构的退款条件与时限,最终酿成法律纠纷。大模型特有的技术架构和生成逻辑,导致幻觉具有自我强化的危险性。uTC即热新闻——关注每天科技社会生活新变化gihot.com

大模型幻觉的价值风险uTC即热新闻——关注每天科技社会生活新变化gihot.com

大模型幻觉的随机出现和难以避免,还存在着削弱人机信任、导向信息极化、冲击社会秩序甚至引发意识形态安全危机等价值风险,亟待加强预防与治理。uTC即热新闻——关注每天科技社会生活新变化gihot.com

大模型幻觉最直接的危害就是对用户决策的误导,特别是在医疗、健康、金融等领域。大模型的权威性表达风格与流畅的叙事逻辑,使得错误信息具有极强的迷惑性。如果用户过于依赖大模型生成信息辅助决策,很有可能被误导进而产生严重后果。例如,相信大模型提供的错误治疗方案,可能导致疾病无法控制甚至进一步恶化。长此以往,恐将削弱人机信任关系。uTC即热新闻——关注每天科技社会生活新变化gihot.com

更令人担忧的是,大模型幻觉引发的价值风险呈现出从个人决策误导向群体认知偏差、社会秩序冲击的扩散路径。在公共决策领域,幻觉可能扭曲政策认知,如果不加强对大模型输出信息的甄别与把关,很有可能出现误读政策、发表歧视言论等幻觉问题,不仅会削弱政府公信力,甚至会危及社会公共安全。uTC即热新闻——关注每天科技社会生活新变化gihot.com

在意识形态安全领域,相关威胁更加隐蔽。例如,相关研究监测到,某些境外大模型带着意识形态的有色眼镜看待中国特色社会主义发展成就与制度优势,刻意混入虚假事实或错误评价,形成与主流话语不同的输出。这种经过意识形态包装的幻觉内容,通过知识问答形式进行价值渗透,其误导性远超传统虚假信息。uTC即热新闻——关注每天科技社会生活新变化gihot.com

大模型幻觉的治理对策uTC即热新闻——关注每天科技社会生活新变化gihot.com

预防与治理大模型幻觉,应构建技术纠偏、法律规制与伦理调适的三维治理体系,通过技术优化消除幻觉问题,借助法律规制明确责任边界,依托伦理调适培育价值理性,使大模型成为人类更可靠的合作伙伴。uTC即热新闻——关注每天科技社会生活新变化gihot.com

构建多层次防治体系。“以技治技”是解决大模型幻觉问题的首选路径。人工智能伦理的“价值敏感设计”或价值对齐策略,也有赖于技术层面创新与突破。这不仅需要人工智能企业与专家通过提高训练数据质量、加强外部验证与事实检查、改进模型推理能力、增强透明度与可解释性等途径提升大模型性能,而且鼓励哲学社会科学专家与人工智能专家携手合作,通过知识库优化、训练语料纠错、价值对齐监测等途径,帮助大模型提高问答正确率,消除潜在的幻觉问题与价值风险。uTC即热新闻——关注每天科技社会生活新变化gihot.com

建立适应性治理框架。面对大模型的普及化应用,敏捷、柔性、规范的立法治理势在必行。国家网信办等七部门颁布实施《生成式人工智能服务管理暂行办法》,对训练数据选择、模型生成与优化、服务提供等提出明确的法律规制与风险防范要求,有利于推动“智能向善”,促进大模型的合规应用。欧盟《人工智能法案》要求大模型履行告知义务、确保技术方案的稳健性和可靠性等规范要求,对大模型的应用形成有效的制度约束和问责框架,值得参考借鉴。uTC即热新闻——关注每天科技社会生活新变化gihot.com

提高技术开发应用的价值基准。对大模型幻觉更有意义的治理创新在于建立技术价值观,将负责任创新、可控创造性等伦理价值融入工程师的头脑、植入大模型的代码。例如,倡导存在争议结论不生成、无法溯源的信息不生成、超出模型认知边界的内容不生成等原则,推动大模型从追求生成流畅度向确保内容可靠性转型;又如,建立大模型回答事实性问题分级置信提示制度,按照高可信、需核实、推测性结论等进行分类标注,加强输出内容的透明度与可解释性。uTC即热新闻——关注每天科技社会生活新变化gihot.com

对用户而言,应进一步提高科学正确应用大模型的信息素养,进而成为引导内容生成的指挥官、幻觉问题的甄别者。研究表明,经过人工智能交叉验证等使用习惯培训,能够显著降低用户被幻觉误导的概率。人们需要与时俱进地提升自身辨析幻觉、掌握常识、批判思考的综合能力,在利用大模型检索信息、生成内容的过程中遵守履行事实核查、逻辑验证、专业甄别、最小必要、场景控制等价值原则,最大限度消除幻觉问题和价值风险。uTC即热新闻——关注每天科技社会生活新变化gihot.com

人工智能的可靠性建设往往滞后于其能力扩展。治理大模型幻觉的终极目标不是完全消灭技术的不确定性,而是要建立风险可控的人机协同机制。在这场人机协同的赛博进化中,始终保持技术的谦逊与伦理的清醒,是破除大模型幻觉迷雾的应有之义。uTC即热新闻——关注每天科技社会生活新变化gihot.com

(作者:李凌,系复旦大学马克思主义研究院副研究员)uTC即热新闻——关注每天科技社会生活新变化gihot.com

本文链接:http://www.gihot.com/news-2-1699-0.html构建大模型幻觉及其价值风险的预防治理体系

声明:本网页内容由互联网博主自发贡献,不代表本站观点,本站不承担任何法律责任。天上不会到馅饼,请大家谨防诈骗!若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。

上一篇:嫦娥六号采回样品又有新发现——月背月幔水含量小于2微克/克

下一篇:我国科学家研发出新型合成孔径雷达三维成像技术

为你推荐
记者1月21日从中国农业科学院棉花研究所获悉,该所马雄风研究员团队成功构建了首个结合单细胞转录组、空间转录组及空间代谢组的棉花纤维起始发育图...
01-22
记者从中国航天科技集团获悉,1月23日13时15分,长征六号改运载火箭在太原卫星发射中心点火起飞,随后以“一箭十八星”方式将千帆极轨06组卫星准确送入...
01-24
  1月29日,大年初一。受到持续强降雪的影响,许多要通过高速公路返乡团聚的司机朋友,时刻关注和期待着高...
01-29
  潮玩、手办等各渠道售罄,有的商品预售发货时间已排到6月底……  一“吒”难求!《哪吒2》周...
02-14
福建即将迎来一所新院校。 近日,据教育部网站消息,拟同意设置北京科技职业大学、淄博职业技术大学、酒泉职业技术大学等14所学校。...
01-21
  中新网北京1月19日电 (记者 邢蕊)据外媒报道,澳大利亚第9频道的资深主持人托尼-琼斯在报道澳网公开赛时,公开嘲讽塞尔维亚球星德约科维奇“已过气”。外媒报道截图  ...
01-21
1 月 26 日消息,近期德国多家企业,包括能源供应商 Badenova、房屋建筑公司 Viebrockhaus 以及连锁药店 Rossmann,纷纷表示将不再购买特斯拉的新车,原因是特斯拉首席执行...
01-27
1 月 30 日消息,韩国汽车制造商起亚此前宣称其电动汽车“将于2025年1月”在北美支持使用特斯拉北美超充站充电,不过起亚公司现发布声明,宣布相应适配计划推迟至3月,为购...
01-31
最近几天,几部新剧陆续播出,其中备受期待的《复明计划A》终于上线。该剧播出后热度不减,频繁登上各大社交平台热搜。接下来聊聊这部剧的剧情。主演为朱彦恺和...
02-20
《山寨人生》是最新上映的一部热门电视剧,成功吸引了大量观众的关注,并在剧情和演员表现方面获得了高度评价。这部剧围绕“山寨人生一共有几季”这一话题展开...
02-22
21世纪经济报道记者季媛媛 上海报道自1981年首例艾滋病病例报告以来,人类和艾滋病的抗争已持续40余年。时至今日,尚无可以根治艾滋病的药物,...
01-21
  中新网2月7日电 据国家医保局微信公众号消息,医保钱包开通地区再扩容,14省份117个统筹区实现跨省共济。  2024年12月2日,国家医疗保障局在江苏苏州正式启动全国医...
02-08
2025年1月16日天文系系主任换届,通过民主推荐和考察,经学校研究决定,清华大...
01-21
辽宁省2024年下半年全国大学英语四、六级考试(CET)和高等学校英语应用能力考试(AB级)将于12月14日和15日举...
01-21
  春节临近,多家理财公司发售“春节档”理财产品。记者走访北京地区银行网点发现,多家银行已上...
01-22
  监管部门多次提及的“完善农险经营退出机制”迎来突破性进展。  近日,金融监管总局北京监...
02-08
天蝎座的男生通常都有着神秘而深沉的个性,他们对于感情非常认真,但也很容易受到伤害。如...
01-22
水瓶座的男生通常被认为是理性、独立和冷漠的代表,但当他们真正爱上一个人时,他们会展现...
01-22
如何成功创立属于自己的鞋子品牌:从灵感到实现的全方位指南想要创业,相信很多人心中都会闪现出一个个创意,而创立属于自己的鞋子品牌无疑是一个令人兴奋且富有挑战的目标。那么...
02-12
闯入时尚潮流:道程服饰的风格与魅力在我的生活中,时尚往往不仅仅是衣服的选择,它反映了个人的品位与态度。如今,越来越多的人开始关注潮流服饰,而道程潮流服饰正是其中一道独特的...
02-17
2月18日消息,遥望科技近日与巴西最大直播机构ABLELIVE达成独家战略合作,携手深耕巴西市场,共同打造该国直播电商行业的最大样板,致力推动巴西直播电商生态体系的深度升级。图源: ...
02-18
京东、美团宣布为外卖骑手缴纳五险一金自从“百团大战”胜出以来,美团稳稳守住了外卖行业的“一哥”之位,几乎没有碰到几个“打得过”的对手。然而,外卖行业的战争似乎与美团王...
02-20
2月15日消息,星图金融旗下苏宁支付近日与北京力众华援技术服务有限公司(下称“力众华援”)达成综合支付业务合作。苏宁支付所提供的综合支付方案成效显著,对于力众华援而言,该方...
02-15
2月28日消息,享道出行正式进驻河南洛阳,启动当地网约车业务运营。开城期间,洛阳市民及游客下载、注册享道出行APP即可获得价值百元的出行礼包,还有每日签到、钱包充值等优惠;3月1...
03-01
北大博雅(新疆)教育科技有限公司(以下简称“北大博雅”)在2025年2月6日宣布,已完成1500万人民币的A轮融资,投资方为深圳市天皓实业投资控股有限公司。此...
02-07
在当今社会,随着老龄化进程的加速,银发经济正展现出前所未有的活力与潜力。这一趋势不仅反映了老年人口规模的不断扩大,更体现了老年人对高品质生活的追求与消费能力的显著提升...
02-09
今日(1月24日),明末生存题材文字冒险游戏《哀鸿:城破十日记》Steam页面上线,游戏支持简繁体中文,预计于2025年第四季度发售,感兴趣的玩家可以点击此处进入商店页面。 ...
01-25
近日在四川内江资中,一名小孩往下水道投放鞭炮,瞬间引发剧烈爆炸。 据国内媒体报道称,四川资中县一男孩将鞭炮扔进下水道引发化粪池内沼气爆燃,事故现场多辆停放在...
02-02
极目新闻首席记者 戎钰 “打一星的都是‘黑水’!”“我们只想要公平!”“《蛟龙行动》绝不撤档!”这几天,电影《蛟龙行动》的多位主创纷纷表达了对今年春节档竞争中存在的部分不...
02-02
干惊天动地事,做隐姓埋名人。中国共产党优秀党员,中国工程院院士,共和国勋章、国家最高科学技术奖获得者,全国道德模范,中国第一代核潜艇工程总设计师,中国船舶集团有限公司第七一...
02-09
返回

点击右上角微信好友

朋友圈

点击浏览器下方“”分享微信好友Safari浏览器请点击“”按钮

点击右上角QQ

点击浏览器下方“”分享QQ好友Safari浏览器请点击“”按钮