构建大模型幻觉及其价值风险的预防治理体系

1个月前 来源:新华网 观看:47

当前,大模型正以日新月异的速度变革人类社会,其以强大的文字、图像与视频生成能力,带给人们学习工作的效率革命与范式创新。越来越多人将大模型应用于日常实践活动,然而在此过程中,部分用户由于缺乏必要的媒介素养和信息验证习惯,很容易被表面严丝合缝的人工智能幻觉蒙蔽欺骗,无条件信任大模型输出的所有答案,进而对生活、学习或工作产生不良影响,引发决策误导、认知偏差等风险。在推动大模型广泛应用过程中,必须警惕与治理大模型幻觉问题及其价值风险,加快构建集技术优化、法律规制与伦理调适于一体的预防治理体系。CrP即热新闻——关注每天科技社会生活新变化gihot.com

大模型幻觉的生成原因CrP即热新闻——关注每天科技社会生活新变化gihot.com

在人工智能领域,幻觉特指大模型生成的内容看似语法正确、逻辑严谨,但实际上存在着事实错误或无法验证事实的现象,具有“一本正经胡说八道”、无法确认现实依据等特征。大模型的幻觉包括事实性幻觉与忠实性幻觉两种类型,前者指的是与事实不一致或存在事实捏造,后者指的是生成内容与用户指令不一致、上下文不一致或逻辑不一致。CrP即热新闻——关注每天科技社会生活新变化gihot.com

在本质上,大模型的幻觉问题是其技术架构、训练和生成模式共同作用的产物,具有一般性、偶然性、随机性、难以避免或克服等特征。在生成机制上,大模型幻觉的核心成因来自概率驱动的技术架构、训练数据局限性以及人机互动生成逻辑的多重耦合。CrP即热新闻——关注每天科技社会生活新变化gihot.com

首先是技术架构的能力短板。目前大模型主要采取基于转换器结构的GPT范式,这种技术架构确能大幅度提高自然语言处理的精度与效率,但在预训练、监督微调、推理等环节都可能存在能力短板,产生与事实、指令或上下文不一致的幻觉问题。例如在预训练阶段,大模型通过自回归生成方式,基于历史标记的概率分布逐词预测输出。这种机制天然缺乏对上下文语义一致性的把控能力,容易优先选择概率更高但与事实、逻辑不一致的词汇组合,输出形成“语法正确但内容失真”的幻觉。CrP即热新闻——关注每天科技社会生活新变化gihot.com

其次是训练数据的天然缺陷。大模型基于互联网海量数据进行深度学习,但由于互联网语料并未经过严格检验处理,或者由于错误标注,不可避免存在事实错误或逻辑矛盾,大模型缺乏对数据真实性的鉴别能力,容易抓取或根据错误数据生成回答。例如,当要求GPT4大模型讲述“林黛玉倒拔垂杨柳”的故事时,大模型并不能辨析其中的陷阱,而是未经事实验证直接从海量文本数据中进行内容拼接,编造出一段荒谬情节。CrP即热新闻——关注每天科技社会生活新变化gihot.com

最后是人机互动的刻板误伤。大模型采取的人类反馈强化学习,容易导致大模型在刻意逢迎人类需求过程中出现信口开河、事实伪造等问题。如加拿大航空聊天机器人在错误理解“特殊退款”概念后,连续生成虚构的退款条件与时限,最终酿成法律纠纷。大模型特有的技术架构和生成逻辑,导致幻觉具有自我强化的危险性。CrP即热新闻——关注每天科技社会生活新变化gihot.com

大模型幻觉的价值风险CrP即热新闻——关注每天科技社会生活新变化gihot.com

大模型幻觉的随机出现和难以避免,还存在着削弱人机信任、导向信息极化、冲击社会秩序甚至引发意识形态安全危机等价值风险,亟待加强预防与治理。CrP即热新闻——关注每天科技社会生活新变化gihot.com

大模型幻觉最直接的危害就是对用户决策的误导,特别是在医疗、健康、金融等领域。大模型的权威性表达风格与流畅的叙事逻辑,使得错误信息具有极强的迷惑性。如果用户过于依赖大模型生成信息辅助决策,很有可能被误导进而产生严重后果。例如,相信大模型提供的错误治疗方案,可能导致疾病无法控制甚至进一步恶化。长此以往,恐将削弱人机信任关系。CrP即热新闻——关注每天科技社会生活新变化gihot.com

更令人担忧的是,大模型幻觉引发的价值风险呈现出从个人决策误导向群体认知偏差、社会秩序冲击的扩散路径。在公共决策领域,幻觉可能扭曲政策认知,如果不加强对大模型输出信息的甄别与把关,很有可能出现误读政策、发表歧视言论等幻觉问题,不仅会削弱政府公信力,甚至会危及社会公共安全。CrP即热新闻——关注每天科技社会生活新变化gihot.com

在意识形态安全领域,相关威胁更加隐蔽。例如,相关研究监测到,某些境外大模型带着意识形态的有色眼镜看待中国特色社会主义发展成就与制度优势,刻意混入虚假事实或错误评价,形成与主流话语不同的输出。这种经过意识形态包装的幻觉内容,通过知识问答形式进行价值渗透,其误导性远超传统虚假信息。CrP即热新闻——关注每天科技社会生活新变化gihot.com

大模型幻觉的治理对策CrP即热新闻——关注每天科技社会生活新变化gihot.com

预防与治理大模型幻觉,应构建技术纠偏、法律规制与伦理调适的三维治理体系,通过技术优化消除幻觉问题,借助法律规制明确责任边界,依托伦理调适培育价值理性,使大模型成为人类更可靠的合作伙伴。CrP即热新闻——关注每天科技社会生活新变化gihot.com

构建多层次防治体系。“以技治技”是解决大模型幻觉问题的首选路径。人工智能伦理的“价值敏感设计”或价值对齐策略,也有赖于技术层面创新与突破。这不仅需要人工智能企业与专家通过提高训练数据质量、加强外部验证与事实检查、改进模型推理能力、增强透明度与可解释性等途径提升大模型性能,而且鼓励哲学社会科学专家与人工智能专家携手合作,通过知识库优化、训练语料纠错、价值对齐监测等途径,帮助大模型提高问答正确率,消除潜在的幻觉问题与价值风险。CrP即热新闻——关注每天科技社会生活新变化gihot.com

建立适应性治理框架。面对大模型的普及化应用,敏捷、柔性、规范的立法治理势在必行。国家网信办等七部门颁布实施《生成式人工智能服务管理暂行办法》,对训练数据选择、模型生成与优化、服务提供等提出明确的法律规制与风险防范要求,有利于推动“智能向善”,促进大模型的合规应用。欧盟《人工智能法案》要求大模型履行告知义务、确保技术方案的稳健性和可靠性等规范要求,对大模型的应用形成有效的制度约束和问责框架,值得参考借鉴。CrP即热新闻——关注每天科技社会生活新变化gihot.com

提高技术开发应用的价值基准。对大模型幻觉更有意义的治理创新在于建立技术价值观,将负责任创新、可控创造性等伦理价值融入工程师的头脑、植入大模型的代码。例如,倡导存在争议结论不生成、无法溯源的信息不生成、超出模型认知边界的内容不生成等原则,推动大模型从追求生成流畅度向确保内容可靠性转型;又如,建立大模型回答事实性问题分级置信提示制度,按照高可信、需核实、推测性结论等进行分类标注,加强输出内容的透明度与可解释性。CrP即热新闻——关注每天科技社会生活新变化gihot.com

对用户而言,应进一步提高科学正确应用大模型的信息素养,进而成为引导内容生成的指挥官、幻觉问题的甄别者。研究表明,经过人工智能交叉验证等使用习惯培训,能够显著降低用户被幻觉误导的概率。人们需要与时俱进地提升自身辨析幻觉、掌握常识、批判思考的综合能力,在利用大模型检索信息、生成内容的过程中遵守履行事实核查、逻辑验证、专业甄别、最小必要、场景控制等价值原则,最大限度消除幻觉问题和价值风险。CrP即热新闻——关注每天科技社会生活新变化gihot.com

人工智能的可靠性建设往往滞后于其能力扩展。治理大模型幻觉的终极目标不是完全消灭技术的不确定性,而是要建立风险可控的人机协同机制。在这场人机协同的赛博进化中,始终保持技术的谦逊与伦理的清醒,是破除大模型幻觉迷雾的应有之义。CrP即热新闻——关注每天科技社会生活新变化gihot.com

(作者:李凌,系复旦大学马克思主义研究院副研究员)CrP即热新闻——关注每天科技社会生活新变化gihot.com

当前,大模型正以日新月异的速度变革人类社会,其以强大的文字、图像与视频生成能力,带给人们学习工作的效率革命与范式创新。越来越多人将大模型应用于日常实践活动,然而在此过程中,部分用户由于缺乏必要的媒介素养和信息验证习惯,很容易被表面严丝合缝的人工智能幻觉蒙蔽欺骗,无条件信任大模型输出的所有答案,进而对生活、学习或工作产生不良影响,引发决策误导、认知偏差等风险。在推动大模型广泛应用过程中,必须警惕与治理大模型幻觉问题及其价值风险,加快构建集技术优化、法律规制与伦理调适于一体的预防治理体系。CrP即热新闻——关注每天科技社会生活新变化gihot.com

大模型幻觉的生成原因CrP即热新闻——关注每天科技社会生活新变化gihot.com

在人工智能领域,幻觉特指大模型生成的内容看似语法正确、逻辑严谨,但实际上存在着事实错误或无法验证事实的现象,具有“一本正经胡说八道”、无法确认现实依据等特征。大模型的幻觉包括事实性幻觉与忠实性幻觉两种类型,前者指的是与事实不一致或存在事实捏造,后者指的是生成内容与用户指令不一致、上下文不一致或逻辑不一致。CrP即热新闻——关注每天科技社会生活新变化gihot.com

在本质上,大模型的幻觉问题是其技术架构、训练和生成模式共同作用的产物,具有一般性、偶然性、随机性、难以避免或克服等特征。在生成机制上,大模型幻觉的核心成因来自概率驱动的技术架构、训练数据局限性以及人机互动生成逻辑的多重耦合。CrP即热新闻——关注每天科技社会生活新变化gihot.com

首先是技术架构的能力短板。目前大模型主要采取基于转换器结构的GPT范式,这种技术架构确能大幅度提高自然语言处理的精度与效率,但在预训练、监督微调、推理等环节都可能存在能力短板,产生与事实、指令或上下文不一致的幻觉问题。例如在预训练阶段,大模型通过自回归生成方式,基于历史标记的概率分布逐词预测输出。这种机制天然缺乏对上下文语义一致性的把控能力,容易优先选择概率更高但与事实、逻辑不一致的词汇组合,输出形成“语法正确但内容失真”的幻觉。CrP即热新闻——关注每天科技社会生活新变化gihot.com

其次是训练数据的天然缺陷。大模型基于互联网海量数据进行深度学习,但由于互联网语料并未经过严格检验处理,或者由于错误标注,不可避免存在事实错误或逻辑矛盾,大模型缺乏对数据真实性的鉴别能力,容易抓取或根据错误数据生成回答。例如,当要求GPT4大模型讲述“林黛玉倒拔垂杨柳”的故事时,大模型并不能辨析其中的陷阱,而是未经事实验证直接从海量文本数据中进行内容拼接,编造出一段荒谬情节。CrP即热新闻——关注每天科技社会生活新变化gihot.com

最后是人机互动的刻板误伤。大模型采取的人类反馈强化学习,容易导致大模型在刻意逢迎人类需求过程中出现信口开河、事实伪造等问题。如加拿大航空聊天机器人在错误理解“特殊退款”概念后,连续生成虚构的退款条件与时限,最终酿成法律纠纷。大模型特有的技术架构和生成逻辑,导致幻觉具有自我强化的危险性。CrP即热新闻——关注每天科技社会生活新变化gihot.com

大模型幻觉的价值风险CrP即热新闻——关注每天科技社会生活新变化gihot.com

大模型幻觉的随机出现和难以避免,还存在着削弱人机信任、导向信息极化、冲击社会秩序甚至引发意识形态安全危机等价值风险,亟待加强预防与治理。CrP即热新闻——关注每天科技社会生活新变化gihot.com

大模型幻觉最直接的危害就是对用户决策的误导,特别是在医疗、健康、金融等领域。大模型的权威性表达风格与流畅的叙事逻辑,使得错误信息具有极强的迷惑性。如果用户过于依赖大模型生成信息辅助决策,很有可能被误导进而产生严重后果。例如,相信大模型提供的错误治疗方案,可能导致疾病无法控制甚至进一步恶化。长此以往,恐将削弱人机信任关系。CrP即热新闻——关注每天科技社会生活新变化gihot.com

更令人担忧的是,大模型幻觉引发的价值风险呈现出从个人决策误导向群体认知偏差、社会秩序冲击的扩散路径。在公共决策领域,幻觉可能扭曲政策认知,如果不加强对大模型输出信息的甄别与把关,很有可能出现误读政策、发表歧视言论等幻觉问题,不仅会削弱政府公信力,甚至会危及社会公共安全。CrP即热新闻——关注每天科技社会生活新变化gihot.com

在意识形态安全领域,相关威胁更加隐蔽。例如,相关研究监测到,某些境外大模型带着意识形态的有色眼镜看待中国特色社会主义发展成就与制度优势,刻意混入虚假事实或错误评价,形成与主流话语不同的输出。这种经过意识形态包装的幻觉内容,通过知识问答形式进行价值渗透,其误导性远超传统虚假信息。CrP即热新闻——关注每天科技社会生活新变化gihot.com

大模型幻觉的治理对策CrP即热新闻——关注每天科技社会生活新变化gihot.com

预防与治理大模型幻觉,应构建技术纠偏、法律规制与伦理调适的三维治理体系,通过技术优化消除幻觉问题,借助法律规制明确责任边界,依托伦理调适培育价值理性,使大模型成为人类更可靠的合作伙伴。CrP即热新闻——关注每天科技社会生活新变化gihot.com

构建多层次防治体系。“以技治技”是解决大模型幻觉问题的首选路径。人工智能伦理的“价值敏感设计”或价值对齐策略,也有赖于技术层面创新与突破。这不仅需要人工智能企业与专家通过提高训练数据质量、加强外部验证与事实检查、改进模型推理能力、增强透明度与可解释性等途径提升大模型性能,而且鼓励哲学社会科学专家与人工智能专家携手合作,通过知识库优化、训练语料纠错、价值对齐监测等途径,帮助大模型提高问答正确率,消除潜在的幻觉问题与价值风险。CrP即热新闻——关注每天科技社会生活新变化gihot.com

建立适应性治理框架。面对大模型的普及化应用,敏捷、柔性、规范的立法治理势在必行。国家网信办等七部门颁布实施《生成式人工智能服务管理暂行办法》,对训练数据选择、模型生成与优化、服务提供等提出明确的法律规制与风险防范要求,有利于推动“智能向善”,促进大模型的合规应用。欧盟《人工智能法案》要求大模型履行告知义务、确保技术方案的稳健性和可靠性等规范要求,对大模型的应用形成有效的制度约束和问责框架,值得参考借鉴。CrP即热新闻——关注每天科技社会生活新变化gihot.com

提高技术开发应用的价值基准。对大模型幻觉更有意义的治理创新在于建立技术价值观,将负责任创新、可控创造性等伦理价值融入工程师的头脑、植入大模型的代码。例如,倡导存在争议结论不生成、无法溯源的信息不生成、超出模型认知边界的内容不生成等原则,推动大模型从追求生成流畅度向确保内容可靠性转型;又如,建立大模型回答事实性问题分级置信提示制度,按照高可信、需核实、推测性结论等进行分类标注,加强输出内容的透明度与可解释性。CrP即热新闻——关注每天科技社会生活新变化gihot.com

对用户而言,应进一步提高科学正确应用大模型的信息素养,进而成为引导内容生成的指挥官、幻觉问题的甄别者。研究表明,经过人工智能交叉验证等使用习惯培训,能够显著降低用户被幻觉误导的概率。人们需要与时俱进地提升自身辨析幻觉、掌握常识、批判思考的综合能力,在利用大模型检索信息、生成内容的过程中遵守履行事实核查、逻辑验证、专业甄别、最小必要、场景控制等价值原则,最大限度消除幻觉问题和价值风险。CrP即热新闻——关注每天科技社会生活新变化gihot.com

人工智能的可靠性建设往往滞后于其能力扩展。治理大模型幻觉的终极目标不是完全消灭技术的不确定性,而是要建立风险可控的人机协同机制。在这场人机协同的赛博进化中,始终保持技术的谦逊与伦理的清醒,是破除大模型幻觉迷雾的应有之义。CrP即热新闻——关注每天科技社会生活新变化gihot.com

(作者:李凌,系复旦大学马克思主义研究院副研究员)CrP即热新闻——关注每天科技社会生活新变化gihot.com

本文链接:http://www.gihot.com/news-2-1699-0.html构建大模型幻觉及其价值风险的预防治理体系

声明:本网页内容由互联网博主自发贡献,不代表本站观点,本站不承担任何法律责任。天上不会到馅饼,请大家谨防诈骗!若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。

上一篇:嫦娥六号采回样品又有新发现——月背月幔水含量小于2微克/克

下一篇:我国科学家研发出新型合成孔径雷达三维成像技术

为你推荐
图源:Pixabay 寒武纪(688256.SH)的股价还在震荡,股民心情“过...
01-21
荷兰特文特大学科学家开发出一种新工艺,能在室温下制造出晶体结构高度有序的半导体材料。他们表示,通过精准控制这种半导体材料的晶体结构,大幅降低了...
01-21
  据气象部门监测,预计1月26日至27日我省将有一次强降雪、寒潮、大风天气过程,东部地区有大雪(5~10毫米...
01-23
  今天是春运第12天,交通出行迎来节前客流高峰。交通部门积极应对不利天气对春运带来的影响,全...
01-27
  去年12月中旬以来,广东省在内的华南多个沿海城市海边出现大量“球形棕囊藻”,同时引发赤潮。  赤潮是一种海洋生态灾害现象,通常由藻类等海洋浮游生物的大量繁殖引起,...
01-21
  中新经纬1月18日电 (魏薇)“银柳的谐音是‘银留’,有把银子留在家中的寓意,最近比较热销。还有北美冬青,它的花语是生命,寓意红红火火、兴旺昌盛。”云南昆明斗南花卉市场(...
01-21
[本站 资讯] 1月18日,海通国际发布研究报告“预测小米可能会收购蔚来,并使蔚来的换电技术得到更广泛的应用,甚至可能在专利保护下开放给其他汽车制造商使用,还预测小米、...
01-21
蛇舞新春,科技贺岁!万众期待的2025年央视蛇年春晚如期而至。在今年的春晚舞台上,780台问界M9带来划破夜空、直穿云霄的震撼灯光表演,问界M9化身为灵动的“光影舞者”,以闪耀变幻...
01-31
随着电视剧的热播,“难哄桑延和温以凡为什么分手”也逐渐引起了广大粉丝的关注。该剧播出后,凭借精彩的剧情、精良的制作和精心的演绎,受到了观众的一致好评,拿...
02-20
《难哄》在哪个台播放?难哄小说讲述了什么?‌《难哄》在优酷视频播放‌。该剧于2025年2月18日在优酷视频的“生花剧场”播出‌。《难哄》是一部由瞿友宁执导,...
02-21
21世纪经济报道记者 唐唯珂 广州报道“一到冬天就食欲大增,公司年会将近,想到要穿晚礼服就头大……现在打完一周之后,体重从76.6公斤掉到了74...
01-29
这里是《21健讯Daily》,欢迎与21世纪经济报道新健康团队共同关注医药健康行业最新事件!政策动向广西启动违规使用医保基金自查自纠工作2月5...
02-06
  大众网记者 杨涛报道  近日,在第十六届山东省大学生科技节——山东省大学生消防安全技能大赛中,青岛港湾职业技术学院应急管理学院23级建筑消防技术与应急救援技术专...
01-21
  大众网记者 秦瑾 通讯员 李永添 报道  12月24日,德州学院董仲舒书院揭牌开班仪式在厚德楼第二报告厅举行。德州市人民政府原副市长、一级巡视员董绍辉,上海交通大学...
01-21
  原标题:盘点2024持牌消金(二)|增资“补血”迭起、融资成本走低:金融债利率底部跌破2%  中国网...
01-22
  风控踩雷、治理“失序”、业绩承压,每一重危机都似一座大山,如何迎难而上,改善业绩,成为贵阳银...
01-22
在星座中,双鱼男和射手女被认为是最具吸引力和神秘感的组合之一。他们之间的化学反应常...
01-22
巨蟹座的男生通常是温柔、体贴和敏感的,他们对待感情非常认真。如果你想知道一个巨蟹男...
01-22
休闲布鞋哪个品牌好?  Converse是世界上最早生产帆布鞋的品牌,也是如今最大最有名的帆布鞋品牌,拥有全明星经典帆布鞋等几大系列众多款式。  主要品牌  Converse(匡威) ...
02-07
2015年韩国瑜伽模特T台走秀:灵动与优雅的完美结合走在时尚潮流前沿的2015年,韩国瑜伽模特T台走秀无疑成为了一个引人瞩目的盛事。这场秀不是单纯的服装展示,更是一次将瑜伽与时...
02-12
2月4日消息,满载着15吨临猗苹果的冷链运输车近日从山西省运城市临猗县北辛乡卓逸村万华果业基地出发前往青岛港,通过海运至澳大利亚。这是临猗县发展跨境电商业务以来,今年首单...
02-07
2月18日消息,总部位于班加罗尔的B2B电子商务公司Udaan近日从现有投资者Lightspeed Venture Partners和英国M&G Prudential处募集到7500万美元资金。据悉,该公司有望在下一季度...
02-19
2月26日消息,美国运通(海外)日前宣布与支付宝达成合作,将为在华持卡人提供数字支付服务。美国运通(海外)持卡人现可将其卡片关联至支付宝账户,实现线上线下支付,简化游客的交易过程...
02-27
史玉东有两重身份,他是全国人大代表,也是蒙牛集团全球研发创新中心研发总监。 来自乳业研发一线的身份,让他对行业有更深刻的了解。...
03-05
近日,圣泰能科顺利完成1.5亿元人民币B轮融资。本次融资由江苏省投资、中信建投资本领投,由江西省金投集团、江西金控投资管理中心、毅达资本、通瀛...
02-07
近日,苏州博萃循环科技有限公司完成近亿元人民币的B轮融资领投方交割。本轮融资由恩泽基金领投。「博萃循环」致力于电池关键材料循环利用的全套解...
02-07
最近我第一次亲眼看到了 Steam Deck,才意识到这款掌上电脑实际上有多大。当初我已经觉得 PS Vita 的体积和重量不方便携带,SteamDeck对于随时随地有玩游戏来说可...
01-29
据网络平台数据显示,截至1月31日11时55分,2025年春节档电影总票房(含预售)破40亿,再创新高。 其中,《哪吒之魔童闹海》、《唐探1900》、《封神第二部:战火西岐》分列...
02-03
极目新闻记者 张静娴贴春联、挂灯笼、包饺子……在热闹的新春氛围里,有一群外国留学生与我们一同欢度春节。近日,接受记者采访时,外国留学生们分享了他们在中国过春节的独特体...
02-05
记者从四川省通信管理局获悉,2025年2月8日,四川省宜宾市筠连县沐爱镇金坪村发生山体垮塌,受灾区域累计退服基站3个,光缆受损7.5公里。灾害发生后当地进行抢修,截至2月9日16时,退服...
02-09
返回

点击右上角微信好友

朋友圈

点击浏览器下方“”分享微信好友Safari浏览器请点击“”按钮

点击右上角QQ

点击浏览器下方“”分享QQ好友Safari浏览器请点击“”按钮