构建大模型幻觉及其价值风险的预防治理体系

1年前 来源:新华网 观看:162

当前,大模型正以日新月异的速度变革人类社会,其以强大的文字、图像与视频生成能力,带给人们学习工作的效率革命与范式创新。越来越多人将大模型应用于日常实践活动,然而在此过程中,部分用户由于缺乏必要的媒介素养和信息验证习惯,很容易被表面严丝合缝的人工智能幻觉蒙蔽欺骗,无条件信任大模型输出的所有答案,进而对生活、学习或工作产生不良影响,引发决策误导、认知偏差等风险。在推动大模型广泛应用过程中,必须警惕与治理大模型幻觉问题及其价值风险,加快构建集技术优化、法律规制与伦理调适于一体的预防治理体系。H7O即热新闻——关注每天科技社会生活新变化gihot.com

大模型幻觉的生成原因H7O即热新闻——关注每天科技社会生活新变化gihot.com

在人工智能领域,幻觉特指大模型生成的内容看似语法正确、逻辑严谨,但实际上存在着事实错误或无法验证事实的现象,具有“一本正经胡说八道”、无法确认现实依据等特征。大模型的幻觉包括事实性幻觉与忠实性幻觉两种类型,前者指的是与事实不一致或存在事实捏造,后者指的是生成内容与用户指令不一致、上下文不一致或逻辑不一致。H7O即热新闻——关注每天科技社会生活新变化gihot.com

在本质上,大模型的幻觉问题是其技术架构、训练和生成模式共同作用的产物,具有一般性、偶然性、随机性、难以避免或克服等特征。在生成机制上,大模型幻觉的核心成因来自概率驱动的技术架构、训练数据局限性以及人机互动生成逻辑的多重耦合。H7O即热新闻——关注每天科技社会生活新变化gihot.com

首先是技术架构的能力短板。目前大模型主要采取基于转换器结构的GPT范式,这种技术架构确能大幅度提高自然语言处理的精度与效率,但在预训练、监督微调、推理等环节都可能存在能力短板,产生与事实、指令或上下文不一致的幻觉问题。例如在预训练阶段,大模型通过自回归生成方式,基于历史标记的概率分布逐词预测输出。这种机制天然缺乏对上下文语义一致性的把控能力,容易优先选择概率更高但与事实、逻辑不一致的词汇组合,输出形成“语法正确但内容失真”的幻觉。H7O即热新闻——关注每天科技社会生活新变化gihot.com

其次是训练数据的天然缺陷。大模型基于互联网海量数据进行深度学习,但由于互联网语料并未经过严格检验处理,或者由于错误标注,不可避免存在事实错误或逻辑矛盾,大模型缺乏对数据真实性的鉴别能力,容易抓取或根据错误数据生成回答。例如,当要求GPT4大模型讲述“林黛玉倒拔垂杨柳”的故事时,大模型并不能辨析其中的陷阱,而是未经事实验证直接从海量文本数据中进行内容拼接,编造出一段荒谬情节。H7O即热新闻——关注每天科技社会生活新变化gihot.com

最后是人机互动的刻板误伤。大模型采取的人类反馈强化学习,容易导致大模型在刻意逢迎人类需求过程中出现信口开河、事实伪造等问题。如加拿大航空聊天机器人在错误理解“特殊退款”概念后,连续生成虚构的退款条件与时限,最终酿成法律纠纷。大模型特有的技术架构和生成逻辑,导致幻觉具有自我强化的危险性。H7O即热新闻——关注每天科技社会生活新变化gihot.com

大模型幻觉的价值风险H7O即热新闻——关注每天科技社会生活新变化gihot.com

大模型幻觉的随机出现和难以避免,还存在着削弱人机信任、导向信息极化、冲击社会秩序甚至引发意识形态安全危机等价值风险,亟待加强预防与治理。H7O即热新闻——关注每天科技社会生活新变化gihot.com

大模型幻觉最直接的危害就是对用户决策的误导,特别是在医疗、健康、金融等领域。大模型的权威性表达风格与流畅的叙事逻辑,使得错误信息具有极强的迷惑性。如果用户过于依赖大模型生成信息辅助决策,很有可能被误导进而产生严重后果。例如,相信大模型提供的错误治疗方案,可能导致疾病无法控制甚至进一步恶化。长此以往,恐将削弱人机信任关系。H7O即热新闻——关注每天科技社会生活新变化gihot.com

更令人担忧的是,大模型幻觉引发的价值风险呈现出从个人决策误导向群体认知偏差、社会秩序冲击的扩散路径。在公共决策领域,幻觉可能扭曲政策认知,如果不加强对大模型输出信息的甄别与把关,很有可能出现误读政策、发表歧视言论等幻觉问题,不仅会削弱政府公信力,甚至会危及社会公共安全。H7O即热新闻——关注每天科技社会生活新变化gihot.com

在意识形态安全领域,相关威胁更加隐蔽。例如,相关研究监测到,某些境外大模型带着意识形态的有色眼镜看待中国特色社会主义发展成就与制度优势,刻意混入虚假事实或错误评价,形成与主流话语不同的输出。这种经过意识形态包装的幻觉内容,通过知识问答形式进行价值渗透,其误导性远超传统虚假信息。H7O即热新闻——关注每天科技社会生活新变化gihot.com

大模型幻觉的治理对策H7O即热新闻——关注每天科技社会生活新变化gihot.com

预防与治理大模型幻觉,应构建技术纠偏、法律规制与伦理调适的三维治理体系,通过技术优化消除幻觉问题,借助法律规制明确责任边界,依托伦理调适培育价值理性,使大模型成为人类更可靠的合作伙伴。H7O即热新闻——关注每天科技社会生活新变化gihot.com

构建多层次防治体系。“以技治技”是解决大模型幻觉问题的首选路径。人工智能伦理的“价值敏感设计”或价值对齐策略,也有赖于技术层面创新与突破。这不仅需要人工智能企业与专家通过提高训练数据质量、加强外部验证与事实检查、改进模型推理能力、增强透明度与可解释性等途径提升大模型性能,而且鼓励哲学社会科学专家与人工智能专家携手合作,通过知识库优化、训练语料纠错、价值对齐监测等途径,帮助大模型提高问答正确率,消除潜在的幻觉问题与价值风险。H7O即热新闻——关注每天科技社会生活新变化gihot.com

建立适应性治理框架。面对大模型的普及化应用,敏捷、柔性、规范的立法治理势在必行。国家网信办等七部门颁布实施《生成式人工智能服务管理暂行办法》,对训练数据选择、模型生成与优化、服务提供等提出明确的法律规制与风险防范要求,有利于推动“智能向善”,促进大模型的合规应用。欧盟《人工智能法案》要求大模型履行告知义务、确保技术方案的稳健性和可靠性等规范要求,对大模型的应用形成有效的制度约束和问责框架,值得参考借鉴。H7O即热新闻——关注每天科技社会生活新变化gihot.com

提高技术开发应用的价值基准。对大模型幻觉更有意义的治理创新在于建立技术价值观,将负责任创新、可控创造性等伦理价值融入工程师的头脑、植入大模型的代码。例如,倡导存在争议结论不生成、无法溯源的信息不生成、超出模型认知边界的内容不生成等原则,推动大模型从追求生成流畅度向确保内容可靠性转型;又如,建立大模型回答事实性问题分级置信提示制度,按照高可信、需核实、推测性结论等进行分类标注,加强输出内容的透明度与可解释性。H7O即热新闻——关注每天科技社会生活新变化gihot.com

对用户而言,应进一步提高科学正确应用大模型的信息素养,进而成为引导内容生成的指挥官、幻觉问题的甄别者。研究表明,经过人工智能交叉验证等使用习惯培训,能够显著降低用户被幻觉误导的概率。人们需要与时俱进地提升自身辨析幻觉、掌握常识、批判思考的综合能力,在利用大模型检索信息、生成内容的过程中遵守履行事实核查、逻辑验证、专业甄别、最小必要、场景控制等价值原则,最大限度消除幻觉问题和价值风险。H7O即热新闻——关注每天科技社会生活新变化gihot.com

人工智能的可靠性建设往往滞后于其能力扩展。治理大模型幻觉的终极目标不是完全消灭技术的不确定性,而是要建立风险可控的人机协同机制。在这场人机协同的赛博进化中,始终保持技术的谦逊与伦理的清醒,是破除大模型幻觉迷雾的应有之义。H7O即热新闻——关注每天科技社会生活新变化gihot.com

(作者:李凌,系复旦大学马克思主义研究院副研究员)H7O即热新闻——关注每天科技社会生活新变化gihot.com

当前,大模型正以日新月异的速度变革人类社会,其以强大的文字、图像与视频生成能力,带给人们学习工作的效率革命与范式创新。越来越多人将大模型应用于日常实践活动,然而在此过程中,部分用户由于缺乏必要的媒介素养和信息验证习惯,很容易被表面严丝合缝的人工智能幻觉蒙蔽欺骗,无条件信任大模型输出的所有答案,进而对生活、学习或工作产生不良影响,引发决策误导、认知偏差等风险。在推动大模型广泛应用过程中,必须警惕与治理大模型幻觉问题及其价值风险,加快构建集技术优化、法律规制与伦理调适于一体的预防治理体系。H7O即热新闻——关注每天科技社会生活新变化gihot.com

大模型幻觉的生成原因H7O即热新闻——关注每天科技社会生活新变化gihot.com

在人工智能领域,幻觉特指大模型生成的内容看似语法正确、逻辑严谨,但实际上存在着事实错误或无法验证事实的现象,具有“一本正经胡说八道”、无法确认现实依据等特征。大模型的幻觉包括事实性幻觉与忠实性幻觉两种类型,前者指的是与事实不一致或存在事实捏造,后者指的是生成内容与用户指令不一致、上下文不一致或逻辑不一致。H7O即热新闻——关注每天科技社会生活新变化gihot.com

在本质上,大模型的幻觉问题是其技术架构、训练和生成模式共同作用的产物,具有一般性、偶然性、随机性、难以避免或克服等特征。在生成机制上,大模型幻觉的核心成因来自概率驱动的技术架构、训练数据局限性以及人机互动生成逻辑的多重耦合。H7O即热新闻——关注每天科技社会生活新变化gihot.com

首先是技术架构的能力短板。目前大模型主要采取基于转换器结构的GPT范式,这种技术架构确能大幅度提高自然语言处理的精度与效率,但在预训练、监督微调、推理等环节都可能存在能力短板,产生与事实、指令或上下文不一致的幻觉问题。例如在预训练阶段,大模型通过自回归生成方式,基于历史标记的概率分布逐词预测输出。这种机制天然缺乏对上下文语义一致性的把控能力,容易优先选择概率更高但与事实、逻辑不一致的词汇组合,输出形成“语法正确但内容失真”的幻觉。H7O即热新闻——关注每天科技社会生活新变化gihot.com

其次是训练数据的天然缺陷。大模型基于互联网海量数据进行深度学习,但由于互联网语料并未经过严格检验处理,或者由于错误标注,不可避免存在事实错误或逻辑矛盾,大模型缺乏对数据真实性的鉴别能力,容易抓取或根据错误数据生成回答。例如,当要求GPT4大模型讲述“林黛玉倒拔垂杨柳”的故事时,大模型并不能辨析其中的陷阱,而是未经事实验证直接从海量文本数据中进行内容拼接,编造出一段荒谬情节。H7O即热新闻——关注每天科技社会生活新变化gihot.com

最后是人机互动的刻板误伤。大模型采取的人类反馈强化学习,容易导致大模型在刻意逢迎人类需求过程中出现信口开河、事实伪造等问题。如加拿大航空聊天机器人在错误理解“特殊退款”概念后,连续生成虚构的退款条件与时限,最终酿成法律纠纷。大模型特有的技术架构和生成逻辑,导致幻觉具有自我强化的危险性。H7O即热新闻——关注每天科技社会生活新变化gihot.com

大模型幻觉的价值风险H7O即热新闻——关注每天科技社会生活新变化gihot.com

大模型幻觉的随机出现和难以避免,还存在着削弱人机信任、导向信息极化、冲击社会秩序甚至引发意识形态安全危机等价值风险,亟待加强预防与治理。H7O即热新闻——关注每天科技社会生活新变化gihot.com

大模型幻觉最直接的危害就是对用户决策的误导,特别是在医疗、健康、金融等领域。大模型的权威性表达风格与流畅的叙事逻辑,使得错误信息具有极强的迷惑性。如果用户过于依赖大模型生成信息辅助决策,很有可能被误导进而产生严重后果。例如,相信大模型提供的错误治疗方案,可能导致疾病无法控制甚至进一步恶化。长此以往,恐将削弱人机信任关系。H7O即热新闻——关注每天科技社会生活新变化gihot.com

更令人担忧的是,大模型幻觉引发的价值风险呈现出从个人决策误导向群体认知偏差、社会秩序冲击的扩散路径。在公共决策领域,幻觉可能扭曲政策认知,如果不加强对大模型输出信息的甄别与把关,很有可能出现误读政策、发表歧视言论等幻觉问题,不仅会削弱政府公信力,甚至会危及社会公共安全。H7O即热新闻——关注每天科技社会生活新变化gihot.com

在意识形态安全领域,相关威胁更加隐蔽。例如,相关研究监测到,某些境外大模型带着意识形态的有色眼镜看待中国特色社会主义发展成就与制度优势,刻意混入虚假事实或错误评价,形成与主流话语不同的输出。这种经过意识形态包装的幻觉内容,通过知识问答形式进行价值渗透,其误导性远超传统虚假信息。H7O即热新闻——关注每天科技社会生活新变化gihot.com

大模型幻觉的治理对策H7O即热新闻——关注每天科技社会生活新变化gihot.com

预防与治理大模型幻觉,应构建技术纠偏、法律规制与伦理调适的三维治理体系,通过技术优化消除幻觉问题,借助法律规制明确责任边界,依托伦理调适培育价值理性,使大模型成为人类更可靠的合作伙伴。H7O即热新闻——关注每天科技社会生活新变化gihot.com

构建多层次防治体系。“以技治技”是解决大模型幻觉问题的首选路径。人工智能伦理的“价值敏感设计”或价值对齐策略,也有赖于技术层面创新与突破。这不仅需要人工智能企业与专家通过提高训练数据质量、加强外部验证与事实检查、改进模型推理能力、增强透明度与可解释性等途径提升大模型性能,而且鼓励哲学社会科学专家与人工智能专家携手合作,通过知识库优化、训练语料纠错、价值对齐监测等途径,帮助大模型提高问答正确率,消除潜在的幻觉问题与价值风险。H7O即热新闻——关注每天科技社会生活新变化gihot.com

建立适应性治理框架。面对大模型的普及化应用,敏捷、柔性、规范的立法治理势在必行。国家网信办等七部门颁布实施《生成式人工智能服务管理暂行办法》,对训练数据选择、模型生成与优化、服务提供等提出明确的法律规制与风险防范要求,有利于推动“智能向善”,促进大模型的合规应用。欧盟《人工智能法案》要求大模型履行告知义务、确保技术方案的稳健性和可靠性等规范要求,对大模型的应用形成有效的制度约束和问责框架,值得参考借鉴。H7O即热新闻——关注每天科技社会生活新变化gihot.com

提高技术开发应用的价值基准。对大模型幻觉更有意义的治理创新在于建立技术价值观,将负责任创新、可控创造性等伦理价值融入工程师的头脑、植入大模型的代码。例如,倡导存在争议结论不生成、无法溯源的信息不生成、超出模型认知边界的内容不生成等原则,推动大模型从追求生成流畅度向确保内容可靠性转型;又如,建立大模型回答事实性问题分级置信提示制度,按照高可信、需核实、推测性结论等进行分类标注,加强输出内容的透明度与可解释性。H7O即热新闻——关注每天科技社会生活新变化gihot.com

对用户而言,应进一步提高科学正确应用大模型的信息素养,进而成为引导内容生成的指挥官、幻觉问题的甄别者。研究表明,经过人工智能交叉验证等使用习惯培训,能够显著降低用户被幻觉误导的概率。人们需要与时俱进地提升自身辨析幻觉、掌握常识、批判思考的综合能力,在利用大模型检索信息、生成内容的过程中遵守履行事实核查、逻辑验证、专业甄别、最小必要、场景控制等价值原则,最大限度消除幻觉问题和价值风险。H7O即热新闻——关注每天科技社会生活新变化gihot.com

人工智能的可靠性建设往往滞后于其能力扩展。治理大模型幻觉的终极目标不是完全消灭技术的不确定性,而是要建立风险可控的人机协同机制。在这场人机协同的赛博进化中,始终保持技术的谦逊与伦理的清醒,是破除大模型幻觉迷雾的应有之义。H7O即热新闻——关注每天科技社会生活新变化gihot.com

(作者:李凌,系复旦大学马克思主义研究院副研究员)H7O即热新闻——关注每天科技社会生活新变化gihot.com

本文链接:http://www.gihot.com/news-2-1699-0.html构建大模型幻觉及其价值风险的预防治理体系

声明:本网页内容由互联网博主自发贡献,不代表本站观点,本站不承担任何法律责任。天上不会到馅饼,请大家谨防诈骗!若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。

上一篇:嫦娥六号采回样品又有新发现——月背月幔水含量小于2微克/克

下一篇:我国科学家研发出新型合成孔径雷达三维成像技术

为你推荐
1月20日有消息称,据荣耀内部公告,荣耀中国区CMO姜海荣将辞去相关职务。据悉,姜海荣曾在华为与荣耀工作超过20年,历任研发、市场等工作...
01-21
记者从中国载人航天工程办公室获悉,我国2025年计划发射神舟二十号、神舟二十一号两艘载人飞船和天舟九号货运飞船。1月20日,三次飞行任务的任务标识...
01-21
  去年,我省实施农村供水工程502处,其中年内建成通水309处,覆盖受益人口74万人,累计完成投资30.4亿元,创历...
01-22
  我国铁路实行“实名购票”政策,旅客在购票、进站、乘车等环节都需要刷身份证。返程途中,旅客...
02-08
  中新经纬1月20日电 国家发改委网站20日消息,国家发展改革委、国家数据局近日发布《关于建立公共数据资源授权运营价格形成机制的通知》(下称通知)。  通知明确定价范围...
01-21
  多家A股家居企业发布业绩预告:受市场竞争、计提损失等影响,2024年净利润同比下滑  2024年,家居消费市场景气度下滑,各大家居企业均称销售承压,作为行业龙头的欧派家居(SH60...
01-21
[本站 资讯] 本站新闻团队策划了《2025新车大爆料》系列内容,我们将为大家盘点各个车企的最新动向,重点展望2025年新车。目前已经上线10篇内容,覆盖新势力品牌和中国品...
01-21
1 月 24 日消息,据“特斯拉”官方新闻稿,特斯拉宣布旗下首批V4超级充电站将于国内落地,相应充电站也将支持第三方汽车充电。▲ 特斯拉 V4 充电桩V4 超级充电桩号称特斯...
01-25
最近,由几位优秀演员出演的电视剧《继承者游戏》播出后,获得了不错的收视率和热度。剧情和人物塑造都相当出色,值得一看。该剧上线时间为14:00,题材为男频复仇...
02-21
最近《树下有片红房子》的讨论度非常高,每一次更新都能引发观众长时间的热议。剧中的各种发展牵动着大家的心,尤其是第11集的剧情。景栖迟参加特训选拔,陈欢尔...
02-21
21世纪经济报道记者 韩利明 上海报道1月20日,国家医保局发函指出,关于近期上海市“两会”期间,有政协委员、医学专家反映某些集采药品可能存...
01-21
编者按:一个人工智能(AI)机器人,在短短8天内独立完成了668项实验,合成了668种化合物,并成功研发出一种全新的化学催化剂。这一壮举令人赞叹。AI...
02-11
  大众网记者 司心鹏 报道  近日,教育部发布了《关于推荐国家特殊教育改革实验区的通知》,旨在适应特殊教育改革发展的新形势新要求,在全国范围内设立一批特殊教育改革...
01-21
为加强基层党组织建设,推进党建工作与中心工作融合发展,进一步提升应用型人才培养质量,经过辽宁石油化工大...
01-21
  乌鲁木齐银行再次因股权拍卖引发市场关注。2025年1月19日,该行第三大股东深圳君豪集团有限公...
01-22
  截至2月13日,已有135家险企(不含再保险公司)披露了2024年四季度偿付能力报告,包括60家人身险公...
02-14
白羊座男生通常被认为是热情、冲动和直率的代表。他们对待感情非常认真,一旦爱上一个人...
01-22
天秤男是一个非常浪漫和温柔的星座,他们对爱情充满了向往和幻想。当一个天秤男开始动情...
01-22
北方模特学校:揭秘T台走秀背后的精彩与挑战走在T台上,灯光璀璨、聚光灯下的一瞬间,模特们如同闪耀的星星。这种华丽的场景,对于许多追逐梦想的年轻人来说,是无比向往的。然而,作为...
02-07
时尚T台秀上的秘密武器:道具伞的魅力与创意当我走进时尚界的T台秀场,映入眼帘的总是那些色彩斑斓、设计独特的服装,以及为其增光添彩的各种道具。其中,有一种道具常常成为我特别...
02-17
2月11日消息,汇通达网络旗下“千橙云SaaS+”平台已全面接入DeepSeek。接入DeepSeek之后,千橙云SaaS+平台将实现“数字化管理”“智能化服务”“营销服务”“供应链优化”“全...
02-11
2月15日消息,年宵花销售热潮刚过,春节后的鲜花市场又迎来消费高峰。在盒马各大门店,2月热门的玫瑰花以及各种时令鲜花早早陈列到位,桃花、樱花、玉兰等鲜切枝含苞待放。延续了春...
02-15
梁建章:拿高倍望远镜都看不到携程的竞争对手。携程2024年业绩大涨这年头,谁不爱游山玩水,品尝各地美食,来上一场说走就走的旅行?从淄博烧烤的火爆,到甘肃天水麻辣烫的风靡,再到哈尔...
02-26
近日界面新闻综合多个社交媒体平台搜索后发现,多个网友称开设于北京华贸中心的杰尼亚门店将在3月1日正式关闭。该店为杰尼亚的双层...
03-01
【近日】— 在全球体育与数字娱乐加速融合的时代,亚洲领先的数字娱乐平台九游娱乐与德甲传统劲旅云达不莱梅足球俱乐部正式宣布达成战略合作协议。此次合作标志着双方在体育...
01-21
近日,华力创科学宣布完成数千万元A+轮融资,本轮融资由金属3D打印领域头部上市公司铂力特独家投资。据披露,本轮融资所募集的资金将专注于深挖高性能光学多模态感知技术,结合金属...
01-24
据猫眼专业版数据显示,《哪吒之魔童闹海》 上映5天, 总票房破26亿,观影人次破5000万,排名春节档第一,遥遥领先《唐探1900》《封神第二部:战火西岐》。 另据据灯塔专...
02-03
今日(2月5日),雅达利经典打砖块游戏《Breakout Beyond》Steam页面开放,发行日期待定,游戏暂不支持中文,感兴趣的玩家可以点击此处进入商店页面。 游戏介绍: 《Bre...
02-06
2月5日傍晚,小米创始人雷军在社交媒体上发文:这是金的。转发的视频里有人介绍,小米SU7 Ultra车标变成了碳纤维+金色,兄弟们这个如何?来源:当事人社交账号今日上午,雷军又连发多条微...
02-06
近期,国家安全机关第一时间侦破一起重要涉密人员主动投靠境外间谍情报机关的重大间谍案件,及时制止卖密行为,有力维护了国家安全。潜滋暗长生邪念韩某某,案发前在某重要涉密单位...
02-07
返回

点击右上角微信好友

朋友圈

点击浏览器下方“”分享微信好友Safari浏览器请点击“”按钮

点击右上角QQ

点击浏览器下方“”分享QQ好友Safari浏览器请点击“”按钮