构建大模型幻觉及其价值风险的预防治理体系

2天前 来源:新华网 观看:5

当前,大模型正以日新月异的速度变革人类社会,其以强大的文字、图像与视频生成能力,带给人们学习工作的效率革命与范式创新。越来越多人将大模型应用于日常实践活动,然而在此过程中,部分用户由于缺乏必要的媒介素养和信息验证习惯,很容易被表面严丝合缝的人工智能幻觉蒙蔽欺骗,无条件信任大模型输出的所有答案,进而对生活、学习或工作产生不良影响,引发决策误导、认知偏差等风险。在推动大模型广泛应用过程中,必须警惕与治理大模型幻觉问题及其价值风险,加快构建集技术优化、法律规制与伦理调适于一体的预防治理体系。ku9即热新闻——关注每天科技社会生活新变化gihot.com

大模型幻觉的生成原因ku9即热新闻——关注每天科技社会生活新变化gihot.com

在人工智能领域,幻觉特指大模型生成的内容看似语法正确、逻辑严谨,但实际上存在着事实错误或无法验证事实的现象,具有“一本正经胡说八道”、无法确认现实依据等特征。大模型的幻觉包括事实性幻觉与忠实性幻觉两种类型,前者指的是与事实不一致或存在事实捏造,后者指的是生成内容与用户指令不一致、上下文不一致或逻辑不一致。ku9即热新闻——关注每天科技社会生活新变化gihot.com

在本质上,大模型的幻觉问题是其技术架构、训练和生成模式共同作用的产物,具有一般性、偶然性、随机性、难以避免或克服等特征。在生成机制上,大模型幻觉的核心成因来自概率驱动的技术架构、训练数据局限性以及人机互动生成逻辑的多重耦合。ku9即热新闻——关注每天科技社会生活新变化gihot.com

首先是技术架构的能力短板。目前大模型主要采取基于转换器结构的GPT范式,这种技术架构确能大幅度提高自然语言处理的精度与效率,但在预训练、监督微调、推理等环节都可能存在能力短板,产生与事实、指令或上下文不一致的幻觉问题。例如在预训练阶段,大模型通过自回归生成方式,基于历史标记的概率分布逐词预测输出。这种机制天然缺乏对上下文语义一致性的把控能力,容易优先选择概率更高但与事实、逻辑不一致的词汇组合,输出形成“语法正确但内容失真”的幻觉。ku9即热新闻——关注每天科技社会生活新变化gihot.com

其次是训练数据的天然缺陷。大模型基于互联网海量数据进行深度学习,但由于互联网语料并未经过严格检验处理,或者由于错误标注,不可避免存在事实错误或逻辑矛盾,大模型缺乏对数据真实性的鉴别能力,容易抓取或根据错误数据生成回答。例如,当要求GPT4大模型讲述“林黛玉倒拔垂杨柳”的故事时,大模型并不能辨析其中的陷阱,而是未经事实验证直接从海量文本数据中进行内容拼接,编造出一段荒谬情节。ku9即热新闻——关注每天科技社会生活新变化gihot.com

最后是人机互动的刻板误伤。大模型采取的人类反馈强化学习,容易导致大模型在刻意逢迎人类需求过程中出现信口开河、事实伪造等问题。如加拿大航空聊天机器人在错误理解“特殊退款”概念后,连续生成虚构的退款条件与时限,最终酿成法律纠纷。大模型特有的技术架构和生成逻辑,导致幻觉具有自我强化的危险性。ku9即热新闻——关注每天科技社会生活新变化gihot.com

大模型幻觉的价值风险ku9即热新闻——关注每天科技社会生活新变化gihot.com

大模型幻觉的随机出现和难以避免,还存在着削弱人机信任、导向信息极化、冲击社会秩序甚至引发意识形态安全危机等价值风险,亟待加强预防与治理。ku9即热新闻——关注每天科技社会生活新变化gihot.com

大模型幻觉最直接的危害就是对用户决策的误导,特别是在医疗、健康、金融等领域。大模型的权威性表达风格与流畅的叙事逻辑,使得错误信息具有极强的迷惑性。如果用户过于依赖大模型生成信息辅助决策,很有可能被误导进而产生严重后果。例如,相信大模型提供的错误治疗方案,可能导致疾病无法控制甚至进一步恶化。长此以往,恐将削弱人机信任关系。ku9即热新闻——关注每天科技社会生活新变化gihot.com

更令人担忧的是,大模型幻觉引发的价值风险呈现出从个人决策误导向群体认知偏差、社会秩序冲击的扩散路径。在公共决策领域,幻觉可能扭曲政策认知,如果不加强对大模型输出信息的甄别与把关,很有可能出现误读政策、发表歧视言论等幻觉问题,不仅会削弱政府公信力,甚至会危及社会公共安全。ku9即热新闻——关注每天科技社会生活新变化gihot.com

在意识形态安全领域,相关威胁更加隐蔽。例如,相关研究监测到,某些境外大模型带着意识形态的有色眼镜看待中国特色社会主义发展成就与制度优势,刻意混入虚假事实或错误评价,形成与主流话语不同的输出。这种经过意识形态包装的幻觉内容,通过知识问答形式进行价值渗透,其误导性远超传统虚假信息。ku9即热新闻——关注每天科技社会生活新变化gihot.com

大模型幻觉的治理对策ku9即热新闻——关注每天科技社会生活新变化gihot.com

预防与治理大模型幻觉,应构建技术纠偏、法律规制与伦理调适的三维治理体系,通过技术优化消除幻觉问题,借助法律规制明确责任边界,依托伦理调适培育价值理性,使大模型成为人类更可靠的合作伙伴。ku9即热新闻——关注每天科技社会生活新变化gihot.com

构建多层次防治体系。“以技治技”是解决大模型幻觉问题的首选路径。人工智能伦理的“价值敏感设计”或价值对齐策略,也有赖于技术层面创新与突破。这不仅需要人工智能企业与专家通过提高训练数据质量、加强外部验证与事实检查、改进模型推理能力、增强透明度与可解释性等途径提升大模型性能,而且鼓励哲学社会科学专家与人工智能专家携手合作,通过知识库优化、训练语料纠错、价值对齐监测等途径,帮助大模型提高问答正确率,消除潜在的幻觉问题与价值风险。ku9即热新闻——关注每天科技社会生活新变化gihot.com

建立适应性治理框架。面对大模型的普及化应用,敏捷、柔性、规范的立法治理势在必行。国家网信办等七部门颁布实施《生成式人工智能服务管理暂行办法》,对训练数据选择、模型生成与优化、服务提供等提出明确的法律规制与风险防范要求,有利于推动“智能向善”,促进大模型的合规应用。欧盟《人工智能法案》要求大模型履行告知义务、确保技术方案的稳健性和可靠性等规范要求,对大模型的应用形成有效的制度约束和问责框架,值得参考借鉴。ku9即热新闻——关注每天科技社会生活新变化gihot.com

提高技术开发应用的价值基准。对大模型幻觉更有意义的治理创新在于建立技术价值观,将负责任创新、可控创造性等伦理价值融入工程师的头脑、植入大模型的代码。例如,倡导存在争议结论不生成、无法溯源的信息不生成、超出模型认知边界的内容不生成等原则,推动大模型从追求生成流畅度向确保内容可靠性转型;又如,建立大模型回答事实性问题分级置信提示制度,按照高可信、需核实、推测性结论等进行分类标注,加强输出内容的透明度与可解释性。ku9即热新闻——关注每天科技社会生活新变化gihot.com

对用户而言,应进一步提高科学正确应用大模型的信息素养,进而成为引导内容生成的指挥官、幻觉问题的甄别者。研究表明,经过人工智能交叉验证等使用习惯培训,能够显著降低用户被幻觉误导的概率。人们需要与时俱进地提升自身辨析幻觉、掌握常识、批判思考的综合能力,在利用大模型检索信息、生成内容的过程中遵守履行事实核查、逻辑验证、专业甄别、最小必要、场景控制等价值原则,最大限度消除幻觉问题和价值风险。ku9即热新闻——关注每天科技社会生活新变化gihot.com

人工智能的可靠性建设往往滞后于其能力扩展。治理大模型幻觉的终极目标不是完全消灭技术的不确定性,而是要建立风险可控的人机协同机制。在这场人机协同的赛博进化中,始终保持技术的谦逊与伦理的清醒,是破除大模型幻觉迷雾的应有之义。ku9即热新闻——关注每天科技社会生活新变化gihot.com

(作者:李凌,系复旦大学马克思主义研究院副研究员)ku9即热新闻——关注每天科技社会生活新变化gihot.com

当前,大模型正以日新月异的速度变革人类社会,其以强大的文字、图像与视频生成能力,带给人们学习工作的效率革命与范式创新。越来越多人将大模型应用于日常实践活动,然而在此过程中,部分用户由于缺乏必要的媒介素养和信息验证习惯,很容易被表面严丝合缝的人工智能幻觉蒙蔽欺骗,无条件信任大模型输出的所有答案,进而对生活、学习或工作产生不良影响,引发决策误导、认知偏差等风险。在推动大模型广泛应用过程中,必须警惕与治理大模型幻觉问题及其价值风险,加快构建集技术优化、法律规制与伦理调适于一体的预防治理体系。ku9即热新闻——关注每天科技社会生活新变化gihot.com

大模型幻觉的生成原因ku9即热新闻——关注每天科技社会生活新变化gihot.com

在人工智能领域,幻觉特指大模型生成的内容看似语法正确、逻辑严谨,但实际上存在着事实错误或无法验证事实的现象,具有“一本正经胡说八道”、无法确认现实依据等特征。大模型的幻觉包括事实性幻觉与忠实性幻觉两种类型,前者指的是与事实不一致或存在事实捏造,后者指的是生成内容与用户指令不一致、上下文不一致或逻辑不一致。ku9即热新闻——关注每天科技社会生活新变化gihot.com

在本质上,大模型的幻觉问题是其技术架构、训练和生成模式共同作用的产物,具有一般性、偶然性、随机性、难以避免或克服等特征。在生成机制上,大模型幻觉的核心成因来自概率驱动的技术架构、训练数据局限性以及人机互动生成逻辑的多重耦合。ku9即热新闻——关注每天科技社会生活新变化gihot.com

首先是技术架构的能力短板。目前大模型主要采取基于转换器结构的GPT范式,这种技术架构确能大幅度提高自然语言处理的精度与效率,但在预训练、监督微调、推理等环节都可能存在能力短板,产生与事实、指令或上下文不一致的幻觉问题。例如在预训练阶段,大模型通过自回归生成方式,基于历史标记的概率分布逐词预测输出。这种机制天然缺乏对上下文语义一致性的把控能力,容易优先选择概率更高但与事实、逻辑不一致的词汇组合,输出形成“语法正确但内容失真”的幻觉。ku9即热新闻——关注每天科技社会生活新变化gihot.com

其次是训练数据的天然缺陷。大模型基于互联网海量数据进行深度学习,但由于互联网语料并未经过严格检验处理,或者由于错误标注,不可避免存在事实错误或逻辑矛盾,大模型缺乏对数据真实性的鉴别能力,容易抓取或根据错误数据生成回答。例如,当要求GPT4大模型讲述“林黛玉倒拔垂杨柳”的故事时,大模型并不能辨析其中的陷阱,而是未经事实验证直接从海量文本数据中进行内容拼接,编造出一段荒谬情节。ku9即热新闻——关注每天科技社会生活新变化gihot.com

最后是人机互动的刻板误伤。大模型采取的人类反馈强化学习,容易导致大模型在刻意逢迎人类需求过程中出现信口开河、事实伪造等问题。如加拿大航空聊天机器人在错误理解“特殊退款”概念后,连续生成虚构的退款条件与时限,最终酿成法律纠纷。大模型特有的技术架构和生成逻辑,导致幻觉具有自我强化的危险性。ku9即热新闻——关注每天科技社会生活新变化gihot.com

大模型幻觉的价值风险ku9即热新闻——关注每天科技社会生活新变化gihot.com

大模型幻觉的随机出现和难以避免,还存在着削弱人机信任、导向信息极化、冲击社会秩序甚至引发意识形态安全危机等价值风险,亟待加强预防与治理。ku9即热新闻——关注每天科技社会生活新变化gihot.com

大模型幻觉最直接的危害就是对用户决策的误导,特别是在医疗、健康、金融等领域。大模型的权威性表达风格与流畅的叙事逻辑,使得错误信息具有极强的迷惑性。如果用户过于依赖大模型生成信息辅助决策,很有可能被误导进而产生严重后果。例如,相信大模型提供的错误治疗方案,可能导致疾病无法控制甚至进一步恶化。长此以往,恐将削弱人机信任关系。ku9即热新闻——关注每天科技社会生活新变化gihot.com

更令人担忧的是,大模型幻觉引发的价值风险呈现出从个人决策误导向群体认知偏差、社会秩序冲击的扩散路径。在公共决策领域,幻觉可能扭曲政策认知,如果不加强对大模型输出信息的甄别与把关,很有可能出现误读政策、发表歧视言论等幻觉问题,不仅会削弱政府公信力,甚至会危及社会公共安全。ku9即热新闻——关注每天科技社会生活新变化gihot.com

在意识形态安全领域,相关威胁更加隐蔽。例如,相关研究监测到,某些境外大模型带着意识形态的有色眼镜看待中国特色社会主义发展成就与制度优势,刻意混入虚假事实或错误评价,形成与主流话语不同的输出。这种经过意识形态包装的幻觉内容,通过知识问答形式进行价值渗透,其误导性远超传统虚假信息。ku9即热新闻——关注每天科技社会生活新变化gihot.com

大模型幻觉的治理对策ku9即热新闻——关注每天科技社会生活新变化gihot.com

预防与治理大模型幻觉,应构建技术纠偏、法律规制与伦理调适的三维治理体系,通过技术优化消除幻觉问题,借助法律规制明确责任边界,依托伦理调适培育价值理性,使大模型成为人类更可靠的合作伙伴。ku9即热新闻——关注每天科技社会生活新变化gihot.com

构建多层次防治体系。“以技治技”是解决大模型幻觉问题的首选路径。人工智能伦理的“价值敏感设计”或价值对齐策略,也有赖于技术层面创新与突破。这不仅需要人工智能企业与专家通过提高训练数据质量、加强外部验证与事实检查、改进模型推理能力、增强透明度与可解释性等途径提升大模型性能,而且鼓励哲学社会科学专家与人工智能专家携手合作,通过知识库优化、训练语料纠错、价值对齐监测等途径,帮助大模型提高问答正确率,消除潜在的幻觉问题与价值风险。ku9即热新闻——关注每天科技社会生活新变化gihot.com

建立适应性治理框架。面对大模型的普及化应用,敏捷、柔性、规范的立法治理势在必行。国家网信办等七部门颁布实施《生成式人工智能服务管理暂行办法》,对训练数据选择、模型生成与优化、服务提供等提出明确的法律规制与风险防范要求,有利于推动“智能向善”,促进大模型的合规应用。欧盟《人工智能法案》要求大模型履行告知义务、确保技术方案的稳健性和可靠性等规范要求,对大模型的应用形成有效的制度约束和问责框架,值得参考借鉴。ku9即热新闻——关注每天科技社会生活新变化gihot.com

提高技术开发应用的价值基准。对大模型幻觉更有意义的治理创新在于建立技术价值观,将负责任创新、可控创造性等伦理价值融入工程师的头脑、植入大模型的代码。例如,倡导存在争议结论不生成、无法溯源的信息不生成、超出模型认知边界的内容不生成等原则,推动大模型从追求生成流畅度向确保内容可靠性转型;又如,建立大模型回答事实性问题分级置信提示制度,按照高可信、需核实、推测性结论等进行分类标注,加强输出内容的透明度与可解释性。ku9即热新闻——关注每天科技社会生活新变化gihot.com

对用户而言,应进一步提高科学正确应用大模型的信息素养,进而成为引导内容生成的指挥官、幻觉问题的甄别者。研究表明,经过人工智能交叉验证等使用习惯培训,能够显著降低用户被幻觉误导的概率。人们需要与时俱进地提升自身辨析幻觉、掌握常识、批判思考的综合能力,在利用大模型检索信息、生成内容的过程中遵守履行事实核查、逻辑验证、专业甄别、最小必要、场景控制等价值原则,最大限度消除幻觉问题和价值风险。ku9即热新闻——关注每天科技社会生活新变化gihot.com

人工智能的可靠性建设往往滞后于其能力扩展。治理大模型幻觉的终极目标不是完全消灭技术的不确定性,而是要建立风险可控的人机协同机制。在这场人机协同的赛博进化中,始终保持技术的谦逊与伦理的清醒,是破除大模型幻觉迷雾的应有之义。ku9即热新闻——关注每天科技社会生活新变化gihot.com

(作者:李凌,系复旦大学马克思主义研究院副研究员)ku9即热新闻——关注每天科技社会生活新变化gihot.com

本文链接:http://www.gihot.com/news-2-1699-0.html构建大模型幻觉及其价值风险的预防治理体系

声明:本网页内容由互联网博主自发贡献,不代表本站观点,本站不承担任何法律责任。天上不会到馅饼,请大家谨防诈骗!若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。

上一篇:嫦娥六号采回样品又有新发现——月背月幔水含量小于2微克/克

下一篇:我国科学家研发出新型合成孔径雷达三维成像技术

为你推荐
持续跳动的“心脏”、有代谢功能的“肝脏”、会呼吸的“肺”……在巴掌大小的芯片上,先“盖”出模拟人体环境的“房子”,再向其中引入相...
01-24
技术进步是降低人工智能应用门槛的关键。这有待加大科研投入,强化自主研发能力,在智能芯片、操作系统等关键领域取得更多突破。夯实算力、算法、数据...
01-27
  春节前夕,热闹的气息扑面而来。  葫芦岛市绥中县袁家屯村的蔬菜大棚里,村民袁殿学一早就摘下一筐筐...
01-23
  《哪吒之魔童闹海》“高开疯走”,各地“抢吒儿”也抢疯了!  截至2月10日,影片《哪吒之魔童闹...
02-11
  春运期间,乘坐高铁动车组列车时,您会看到在座位上方、行李架的下方有一串圆点状指示灯,分为红、绿、黄三种颜色。这些指示灯是干什么用的?不同颜色指示灯代表什么意思?掌...
01-21
福建即将迎来一所新院校。 近日,据教育部网站消息,拟同意设置北京科技职业大学、淄博职业技术大学、酒泉职业技术大学等14所学校。...
01-21
[本站 资讯] 1月23日,阿维塔官方宣布启动“春节不打烊”用户服务,其通过线上、线下多渠道升级悦心服务。即日起至2月5日,阿维塔中心及钣喷中心将为车主提供免费专业的车...
01-24
2 月 4 日消息,赛力斯集团刚刚发布了最新的 2025 年 1 月份产销快报。汇总主要数据如下:赛力斯汽车 1 月产量 17513 辆,同比减少 44.88%;1 月销量 16432 辆,同比减少 47....
02-04
  1、《难哄》和《偷偷藏不住》都是竹已写的,但《偷偷藏不住》是在《难哄》之前先写的。  2、《偷偷藏不住》创作于2019年,而《难哄》创作于2020年,前者以桑稚和段嘉许的...
02-14
《难哄》钟思乔扮演者是谁钟思乔苏浩安结局是什么?‌电视剧《难哄》中钟思乔的扮演者是张淼怡‌‌。钟思乔在剧中是女主角温以凡的挚友,不仅是男女主角桑延和...
02-19
  大家都知道“吃头孢不能喝酒”  但许多人并不知道这背后的原理  也不知道除了头孢以外...
01-24
这里是《21健讯Daily》,欢迎与21世纪经济报道新健康团队共同关注医药健康行业最新事件!政策动向医保结算提速2月17日,国家医保局官微转载文章...
02-18
近日,省委、省政府决定,单耀军同志任河北工程大学党委委员、常委、副书记,校...
01-21
  “如果不是郑皆连院士坚定的科学执言,‘世界第一拱’极有可能与我们擦肩而过。”这是广西大...
01-21
  在我国人口老龄化加速的大背景下,养老金融成为社会关注的焦点。中共中央、国务院近日出台的...
01-21
  □记者 钟源 北京报道  国务院办公厅近日转发国家金融监管总局《关于加强监管防范风险推...
02-05
天蝎座男生通常被认为是神秘、深沉而又充满魅力的存在。他们对爱情有着极高的要求,很难...
01-22
水瓶女是一个独立、聪明且有点神秘的星座,她们对感情的态度往往让人捉摸不透。如果你想...
01-22
璀璨舞台:模特T台走秀大赛精彩主持稿亲爱的观众们,大家好!今天我们齐聚一堂,欢迎来到精彩绝伦的模特T台走秀大赛现场。我是今天的主持人[姓名],倍感荣幸能与大家一同分享这场时尚...
02-12
穿越时尚潮流前线:2023年必备服饰推荐当我们谈到时尚潮流,总会感叹于其迅猛变化和多元风格。从熙熙攘攘的时装周到各大品牌的发布秀,时尚似乎从未停止过它的步伐。但如何在瞬息...
02-12
属于雷军的传奇,正在上演。一、小米市值突破万亿,正式进入全球100强企业名单前几年,如果有人跟你说屌丝才用小米,或许有不少人会深有同感。而如果把这句话放到现在来说,很多人只...
02-09
2月12日消息,情人节前夕,淘宝首次推出礼品卡,同品类可跨店使用。淘宝App显示,目前淘宝礼品卡设有美妆护肤卡、母婴亲子卡,面值共有四档,分别为600、800、1000、2000元。针对即将到...
02-13
1.饿了么投入超10亿,在沪发布“春生计划”近来的外卖行业,真是热闹非凡。京东来势汹汹,美团稳扎稳打,饿了么当然也没闲着。近日,饿了么在上海发布“春生计划”,宣布将于今年3月至5...
02-26
大清洗来临。1.抖音生服重拳出击,违规商家被处理在抖音,每天都有近200万条探店视频涌向6亿消费者。有人被种草了一碗麻辣烫,有人下单了人生第一次医美,但也有人掉进“9.9元低价...
03-01
从学生成长需求出发,用专业研发与科学配比为学生群体提供全方位护航的食用植物油方案——自2024年8月上市以来,中粮福临门学生营养餐专用食用植物调和油在学生油市场中反响热...
01-21
扬州无界矩阵科技有限公司(简称“无界矩阵”)近期以亿级估值完成超千万元天使轮融资,本轮融资由力合金融领投。无界矩阵是一家成立于2024年的人工智...
02-07
近日Havock游戏引擎发布了重大更新,引入全新的动态破坏技术。Havock还发布新的技术视频,展示了使用该技术后的逼真动态画面,看起来很酷。 视频欣赏: 动态破坏技...
01-31
《绝地潜兵2》的开发商箭头游戏工作室在过去一年里,因其由游戏策划主导的剧情而备受关注。为纪念《绝地潜兵2》发布一周年,极为神秘的游戏策划J.O.E.L.首次在一...
02-10
2月5日是乙巳蛇年首个工作日,湖北、湖南、广东、浙江等多省份在这一天召开省级层面的“新春第一会”。一季度是全年经济的风向标,确保一季度“开门红”是完成全年目标任务的关...
02-06
极目新闻记者 丁伟街头套圈可以套到豪车玛莎拉蒂?近日,在河南商丘柘城县,一个套圈摊位吸引不少游客前来打卡和碰运气。2月6日,摊位老板告诉极目新闻记者,这是一辆二手的玛莎拉蒂,...
02-06
返回

点击右上角微信好友

朋友圈

点击浏览器下方“”分享微信好友Safari浏览器请点击“”按钮

点击右上角QQ

点击浏览器下方“”分享QQ好友Safari浏览器请点击“”按钮