构建大模型幻觉及其价值风险的预防治理体系

1年前 来源:新华网 观看:171

当前,大模型正以日新月异的速度变革人类社会,其以强大的文字、图像与视频生成能力,带给人们学习工作的效率革命与范式创新。越来越多人将大模型应用于日常实践活动,然而在此过程中,部分用户由于缺乏必要的媒介素养和信息验证习惯,很容易被表面严丝合缝的人工智能幻觉蒙蔽欺骗,无条件信任大模型输出的所有答案,进而对生活、学习或工作产生不良影响,引发决策误导、认知偏差等风险。在推动大模型广泛应用过程中,必须警惕与治理大模型幻觉问题及其价值风险,加快构建集技术优化、法律规制与伦理调适于一体的预防治理体系。bKF即热新闻——关注每天科技社会生活新变化gihot.com

大模型幻觉的生成原因bKF即热新闻——关注每天科技社会生活新变化gihot.com

在人工智能领域,幻觉特指大模型生成的内容看似语法正确、逻辑严谨,但实际上存在着事实错误或无法验证事实的现象,具有“一本正经胡说八道”、无法确认现实依据等特征。大模型的幻觉包括事实性幻觉与忠实性幻觉两种类型,前者指的是与事实不一致或存在事实捏造,后者指的是生成内容与用户指令不一致、上下文不一致或逻辑不一致。bKF即热新闻——关注每天科技社会生活新变化gihot.com

在本质上,大模型的幻觉问题是其技术架构、训练和生成模式共同作用的产物,具有一般性、偶然性、随机性、难以避免或克服等特征。在生成机制上,大模型幻觉的核心成因来自概率驱动的技术架构、训练数据局限性以及人机互动生成逻辑的多重耦合。bKF即热新闻——关注每天科技社会生活新变化gihot.com

首先是技术架构的能力短板。目前大模型主要采取基于转换器结构的GPT范式,这种技术架构确能大幅度提高自然语言处理的精度与效率,但在预训练、监督微调、推理等环节都可能存在能力短板,产生与事实、指令或上下文不一致的幻觉问题。例如在预训练阶段,大模型通过自回归生成方式,基于历史标记的概率分布逐词预测输出。这种机制天然缺乏对上下文语义一致性的把控能力,容易优先选择概率更高但与事实、逻辑不一致的词汇组合,输出形成“语法正确但内容失真”的幻觉。bKF即热新闻——关注每天科技社会生活新变化gihot.com

其次是训练数据的天然缺陷。大模型基于互联网海量数据进行深度学习,但由于互联网语料并未经过严格检验处理,或者由于错误标注,不可避免存在事实错误或逻辑矛盾,大模型缺乏对数据真实性的鉴别能力,容易抓取或根据错误数据生成回答。例如,当要求GPT4大模型讲述“林黛玉倒拔垂杨柳”的故事时,大模型并不能辨析其中的陷阱,而是未经事实验证直接从海量文本数据中进行内容拼接,编造出一段荒谬情节。bKF即热新闻——关注每天科技社会生活新变化gihot.com

最后是人机互动的刻板误伤。大模型采取的人类反馈强化学习,容易导致大模型在刻意逢迎人类需求过程中出现信口开河、事实伪造等问题。如加拿大航空聊天机器人在错误理解“特殊退款”概念后,连续生成虚构的退款条件与时限,最终酿成法律纠纷。大模型特有的技术架构和生成逻辑,导致幻觉具有自我强化的危险性。bKF即热新闻——关注每天科技社会生活新变化gihot.com

大模型幻觉的价值风险bKF即热新闻——关注每天科技社会生活新变化gihot.com

大模型幻觉的随机出现和难以避免,还存在着削弱人机信任、导向信息极化、冲击社会秩序甚至引发意识形态安全危机等价值风险,亟待加强预防与治理。bKF即热新闻——关注每天科技社会生活新变化gihot.com

大模型幻觉最直接的危害就是对用户决策的误导,特别是在医疗、健康、金融等领域。大模型的权威性表达风格与流畅的叙事逻辑,使得错误信息具有极强的迷惑性。如果用户过于依赖大模型生成信息辅助决策,很有可能被误导进而产生严重后果。例如,相信大模型提供的错误治疗方案,可能导致疾病无法控制甚至进一步恶化。长此以往,恐将削弱人机信任关系。bKF即热新闻——关注每天科技社会生活新变化gihot.com

更令人担忧的是,大模型幻觉引发的价值风险呈现出从个人决策误导向群体认知偏差、社会秩序冲击的扩散路径。在公共决策领域,幻觉可能扭曲政策认知,如果不加强对大模型输出信息的甄别与把关,很有可能出现误读政策、发表歧视言论等幻觉问题,不仅会削弱政府公信力,甚至会危及社会公共安全。bKF即热新闻——关注每天科技社会生活新变化gihot.com

在意识形态安全领域,相关威胁更加隐蔽。例如,相关研究监测到,某些境外大模型带着意识形态的有色眼镜看待中国特色社会主义发展成就与制度优势,刻意混入虚假事实或错误评价,形成与主流话语不同的输出。这种经过意识形态包装的幻觉内容,通过知识问答形式进行价值渗透,其误导性远超传统虚假信息。bKF即热新闻——关注每天科技社会生活新变化gihot.com

大模型幻觉的治理对策bKF即热新闻——关注每天科技社会生活新变化gihot.com

预防与治理大模型幻觉,应构建技术纠偏、法律规制与伦理调适的三维治理体系,通过技术优化消除幻觉问题,借助法律规制明确责任边界,依托伦理调适培育价值理性,使大模型成为人类更可靠的合作伙伴。bKF即热新闻——关注每天科技社会生活新变化gihot.com

构建多层次防治体系。“以技治技”是解决大模型幻觉问题的首选路径。人工智能伦理的“价值敏感设计”或价值对齐策略,也有赖于技术层面创新与突破。这不仅需要人工智能企业与专家通过提高训练数据质量、加强外部验证与事实检查、改进模型推理能力、增强透明度与可解释性等途径提升大模型性能,而且鼓励哲学社会科学专家与人工智能专家携手合作,通过知识库优化、训练语料纠错、价值对齐监测等途径,帮助大模型提高问答正确率,消除潜在的幻觉问题与价值风险。bKF即热新闻——关注每天科技社会生活新变化gihot.com

建立适应性治理框架。面对大模型的普及化应用,敏捷、柔性、规范的立法治理势在必行。国家网信办等七部门颁布实施《生成式人工智能服务管理暂行办法》,对训练数据选择、模型生成与优化、服务提供等提出明确的法律规制与风险防范要求,有利于推动“智能向善”,促进大模型的合规应用。欧盟《人工智能法案》要求大模型履行告知义务、确保技术方案的稳健性和可靠性等规范要求,对大模型的应用形成有效的制度约束和问责框架,值得参考借鉴。bKF即热新闻——关注每天科技社会生活新变化gihot.com

提高技术开发应用的价值基准。对大模型幻觉更有意义的治理创新在于建立技术价值观,将负责任创新、可控创造性等伦理价值融入工程师的头脑、植入大模型的代码。例如,倡导存在争议结论不生成、无法溯源的信息不生成、超出模型认知边界的内容不生成等原则,推动大模型从追求生成流畅度向确保内容可靠性转型;又如,建立大模型回答事实性问题分级置信提示制度,按照高可信、需核实、推测性结论等进行分类标注,加强输出内容的透明度与可解释性。bKF即热新闻——关注每天科技社会生活新变化gihot.com

对用户而言,应进一步提高科学正确应用大模型的信息素养,进而成为引导内容生成的指挥官、幻觉问题的甄别者。研究表明,经过人工智能交叉验证等使用习惯培训,能够显著降低用户被幻觉误导的概率。人们需要与时俱进地提升自身辨析幻觉、掌握常识、批判思考的综合能力,在利用大模型检索信息、生成内容的过程中遵守履行事实核查、逻辑验证、专业甄别、最小必要、场景控制等价值原则,最大限度消除幻觉问题和价值风险。bKF即热新闻——关注每天科技社会生活新变化gihot.com

人工智能的可靠性建设往往滞后于其能力扩展。治理大模型幻觉的终极目标不是完全消灭技术的不确定性,而是要建立风险可控的人机协同机制。在这场人机协同的赛博进化中,始终保持技术的谦逊与伦理的清醒,是破除大模型幻觉迷雾的应有之义。bKF即热新闻——关注每天科技社会生活新变化gihot.com

(作者:李凌,系复旦大学马克思主义研究院副研究员)bKF即热新闻——关注每天科技社会生活新变化gihot.com

当前,大模型正以日新月异的速度变革人类社会,其以强大的文字、图像与视频生成能力,带给人们学习工作的效率革命与范式创新。越来越多人将大模型应用于日常实践活动,然而在此过程中,部分用户由于缺乏必要的媒介素养和信息验证习惯,很容易被表面严丝合缝的人工智能幻觉蒙蔽欺骗,无条件信任大模型输出的所有答案,进而对生活、学习或工作产生不良影响,引发决策误导、认知偏差等风险。在推动大模型广泛应用过程中,必须警惕与治理大模型幻觉问题及其价值风险,加快构建集技术优化、法律规制与伦理调适于一体的预防治理体系。bKF即热新闻——关注每天科技社会生活新变化gihot.com

大模型幻觉的生成原因bKF即热新闻——关注每天科技社会生活新变化gihot.com

在人工智能领域,幻觉特指大模型生成的内容看似语法正确、逻辑严谨,但实际上存在着事实错误或无法验证事实的现象,具有“一本正经胡说八道”、无法确认现实依据等特征。大模型的幻觉包括事实性幻觉与忠实性幻觉两种类型,前者指的是与事实不一致或存在事实捏造,后者指的是生成内容与用户指令不一致、上下文不一致或逻辑不一致。bKF即热新闻——关注每天科技社会生活新变化gihot.com

在本质上,大模型的幻觉问题是其技术架构、训练和生成模式共同作用的产物,具有一般性、偶然性、随机性、难以避免或克服等特征。在生成机制上,大模型幻觉的核心成因来自概率驱动的技术架构、训练数据局限性以及人机互动生成逻辑的多重耦合。bKF即热新闻——关注每天科技社会生活新变化gihot.com

首先是技术架构的能力短板。目前大模型主要采取基于转换器结构的GPT范式,这种技术架构确能大幅度提高自然语言处理的精度与效率,但在预训练、监督微调、推理等环节都可能存在能力短板,产生与事实、指令或上下文不一致的幻觉问题。例如在预训练阶段,大模型通过自回归生成方式,基于历史标记的概率分布逐词预测输出。这种机制天然缺乏对上下文语义一致性的把控能力,容易优先选择概率更高但与事实、逻辑不一致的词汇组合,输出形成“语法正确但内容失真”的幻觉。bKF即热新闻——关注每天科技社会生活新变化gihot.com

其次是训练数据的天然缺陷。大模型基于互联网海量数据进行深度学习,但由于互联网语料并未经过严格检验处理,或者由于错误标注,不可避免存在事实错误或逻辑矛盾,大模型缺乏对数据真实性的鉴别能力,容易抓取或根据错误数据生成回答。例如,当要求GPT4大模型讲述“林黛玉倒拔垂杨柳”的故事时,大模型并不能辨析其中的陷阱,而是未经事实验证直接从海量文本数据中进行内容拼接,编造出一段荒谬情节。bKF即热新闻——关注每天科技社会生活新变化gihot.com

最后是人机互动的刻板误伤。大模型采取的人类反馈强化学习,容易导致大模型在刻意逢迎人类需求过程中出现信口开河、事实伪造等问题。如加拿大航空聊天机器人在错误理解“特殊退款”概念后,连续生成虚构的退款条件与时限,最终酿成法律纠纷。大模型特有的技术架构和生成逻辑,导致幻觉具有自我强化的危险性。bKF即热新闻——关注每天科技社会生活新变化gihot.com

大模型幻觉的价值风险bKF即热新闻——关注每天科技社会生活新变化gihot.com

大模型幻觉的随机出现和难以避免,还存在着削弱人机信任、导向信息极化、冲击社会秩序甚至引发意识形态安全危机等价值风险,亟待加强预防与治理。bKF即热新闻——关注每天科技社会生活新变化gihot.com

大模型幻觉最直接的危害就是对用户决策的误导,特别是在医疗、健康、金融等领域。大模型的权威性表达风格与流畅的叙事逻辑,使得错误信息具有极强的迷惑性。如果用户过于依赖大模型生成信息辅助决策,很有可能被误导进而产生严重后果。例如,相信大模型提供的错误治疗方案,可能导致疾病无法控制甚至进一步恶化。长此以往,恐将削弱人机信任关系。bKF即热新闻——关注每天科技社会生活新变化gihot.com

更令人担忧的是,大模型幻觉引发的价值风险呈现出从个人决策误导向群体认知偏差、社会秩序冲击的扩散路径。在公共决策领域,幻觉可能扭曲政策认知,如果不加强对大模型输出信息的甄别与把关,很有可能出现误读政策、发表歧视言论等幻觉问题,不仅会削弱政府公信力,甚至会危及社会公共安全。bKF即热新闻——关注每天科技社会生活新变化gihot.com

在意识形态安全领域,相关威胁更加隐蔽。例如,相关研究监测到,某些境外大模型带着意识形态的有色眼镜看待中国特色社会主义发展成就与制度优势,刻意混入虚假事实或错误评价,形成与主流话语不同的输出。这种经过意识形态包装的幻觉内容,通过知识问答形式进行价值渗透,其误导性远超传统虚假信息。bKF即热新闻——关注每天科技社会生活新变化gihot.com

大模型幻觉的治理对策bKF即热新闻——关注每天科技社会生活新变化gihot.com

预防与治理大模型幻觉,应构建技术纠偏、法律规制与伦理调适的三维治理体系,通过技术优化消除幻觉问题,借助法律规制明确责任边界,依托伦理调适培育价值理性,使大模型成为人类更可靠的合作伙伴。bKF即热新闻——关注每天科技社会生活新变化gihot.com

构建多层次防治体系。“以技治技”是解决大模型幻觉问题的首选路径。人工智能伦理的“价值敏感设计”或价值对齐策略,也有赖于技术层面创新与突破。这不仅需要人工智能企业与专家通过提高训练数据质量、加强外部验证与事实检查、改进模型推理能力、增强透明度与可解释性等途径提升大模型性能,而且鼓励哲学社会科学专家与人工智能专家携手合作,通过知识库优化、训练语料纠错、价值对齐监测等途径,帮助大模型提高问答正确率,消除潜在的幻觉问题与价值风险。bKF即热新闻——关注每天科技社会生活新变化gihot.com

建立适应性治理框架。面对大模型的普及化应用,敏捷、柔性、规范的立法治理势在必行。国家网信办等七部门颁布实施《生成式人工智能服务管理暂行办法》,对训练数据选择、模型生成与优化、服务提供等提出明确的法律规制与风险防范要求,有利于推动“智能向善”,促进大模型的合规应用。欧盟《人工智能法案》要求大模型履行告知义务、确保技术方案的稳健性和可靠性等规范要求,对大模型的应用形成有效的制度约束和问责框架,值得参考借鉴。bKF即热新闻——关注每天科技社会生活新变化gihot.com

提高技术开发应用的价值基准。对大模型幻觉更有意义的治理创新在于建立技术价值观,将负责任创新、可控创造性等伦理价值融入工程师的头脑、植入大模型的代码。例如,倡导存在争议结论不生成、无法溯源的信息不生成、超出模型认知边界的内容不生成等原则,推动大模型从追求生成流畅度向确保内容可靠性转型;又如,建立大模型回答事实性问题分级置信提示制度,按照高可信、需核实、推测性结论等进行分类标注,加强输出内容的透明度与可解释性。bKF即热新闻——关注每天科技社会生活新变化gihot.com

对用户而言,应进一步提高科学正确应用大模型的信息素养,进而成为引导内容生成的指挥官、幻觉问题的甄别者。研究表明,经过人工智能交叉验证等使用习惯培训,能够显著降低用户被幻觉误导的概率。人们需要与时俱进地提升自身辨析幻觉、掌握常识、批判思考的综合能力,在利用大模型检索信息、生成内容的过程中遵守履行事实核查、逻辑验证、专业甄别、最小必要、场景控制等价值原则,最大限度消除幻觉问题和价值风险。bKF即热新闻——关注每天科技社会生活新变化gihot.com

人工智能的可靠性建设往往滞后于其能力扩展。治理大模型幻觉的终极目标不是完全消灭技术的不确定性,而是要建立风险可控的人机协同机制。在这场人机协同的赛博进化中,始终保持技术的谦逊与伦理的清醒,是破除大模型幻觉迷雾的应有之义。bKF即热新闻——关注每天科技社会生活新变化gihot.com

(作者:李凌,系复旦大学马克思主义研究院副研究员)bKF即热新闻——关注每天科技社会生活新变化gihot.com

本文链接:http://www.gihot.com/news-2-1699-0.html构建大模型幻觉及其价值风险的预防治理体系

声明:本网页内容由互联网博主自发贡献,不代表本站观点,本站不承担任何法律责任。天上不会到馅饼,请大家谨防诈骗!若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。

上一篇:嫦娥六号采回样品又有新发现——月背月幔水含量小于2微克/克

下一篇:我国科学家研发出新型合成孔径雷达三维成像技术

为你推荐
“任何一条聚变路线都面临挑战,但商业化首先要考虑燃料‘卡脖子’问题。”日前,在位于河北省廊坊市的新奥聚变技术研发中心,新奥能源研究院...
01-24
1月21日,美国总统唐纳德·特朗普宣布,美国开放人工智能研究中心(OpenAI)、软银和甲骨文公司将联合成立名为“星际之门”的新公司。未来4年,这3家...
01-24
  辽宁省统计局今天发布2024年全省经济运行情况。数据显示,攻坚之年,辽宁生产需求持续改善,居民收入稳步...
01-21
  今天(1月24日)至27日,今年首场寒潮天气过程继续影响我国,中东部大部地区将陆续出现雨雪天气,西北...
01-24
“电子处方”新规施行,核实患者信息真伪、处方流转不畅等问题待解网络购药挺便民,但开方“别随意”1月12日,家住山东省德州市的李先生因急性咽喉炎到该市德城区中医医院门诊...
01-21
  中新经纬1月20日电 智联招聘20日发布《2024年职场人满意度指数调研报告》(下称报告)。其中提到,商业服务(咨询/财会/法律/广告/公关/认证/外包)、文化/传媒/娱乐/体育行...
01-21
2 月 2 日消息,继昨日多位博主分享了蔚来 5 年 0 息购车优惠海报后,蔚来官方公布了限时金融优惠更多细节:用户 2025 年 2 月 1 日至 2 月 28 日期间支付定金购买蔚来,可...
02-02
2 月 1 日消息,特斯拉在海外发布视频,主要展示该公司的自动机械臂整备其 Cybercab无人驾驶出租车。参考视频,相应机械臂能够将车内遗留的物品、喝剩一半的水瓶、未归位...
02-02
  1、《难哄》温以凡和桑延合租,是因为温以凡受不了隔壁男人的骚扰而搬家,桑延正好因为邻居家起火受到了连累,也不得不暂时租房子住。  2、两人就这样意外租到了同一个房...
02-18
近期,追剧党们非常关注的话题是《只此江湖梦》在哪个平台播出。这部剧在各个短视频APP上爆火,引发了观众的热烈讨论。备受期待的剧集《只此江湖梦》定档于2月...
02-22
21世纪经济报道记者 韩利明 上海报道 随着跨国药企(MNC)陆续披露2024年业绩,21世纪经济报道记者初步统计发现,自免领域的营收排名中,赛诺菲的度...
02-08
21世纪经济报道记者 韩利明 上海报道日前,上海阳光医药采购网披露信息显示,根据国家医保局有关工作要求,2025年2月15日起,暂停杭州国光药业股...
02-18
中新网杭州1月18日电(林波 林晓莹 王津航)1月18日,浙江工商大学未来传播学...
01-21
2024年4月14日,我参加了童学会小记者活动,走进九紫宝藏陨石博物馆,了解了许多“天外来客”——陨石的知识。刚走进这个陨石博物馆,映入我眼帘的便是大大小小、成千上万、种类丰...
01-21
  2025年1月,江苏农商联合银行、江西农商联合银行获批筹建;2024年,四川农商联合银行、广西农商联...
02-06
  摘要  【骤增近30%纯碱库存创历史新高!供需失衡态势加剧?】本周,纯碱市场呈现双弱状态。纯碱...
02-07
天秤座的男人通常具有温和、善良、浪漫的性格,他们对待感情非常认真。如果你怀疑一个已...
01-22
水瓶座男生通常都是聪明、独立和理性的人,他们在感情方面也有着自己独特的表达方式。如...
01-22
引领时尚潮流的服饰,让你与众不同在这个快速发展的时代,潮流服饰不再仅仅是衣物的选择,而是表达个性和态度的利器。当我们走在街头,穿着与你的风格完美契合的服装时,仿佛每一个目...
02-07
魅力绽放:模特T台走秀背后的故事在时尚界,有一种声音永远不会被忽视,那就是模特T台走秀。这个将创意与自信结合的空间,不仅展示着设计师的想象力,还体现着模特们的努力与魅力。走...
02-12
2月5日消息,苏宁易购发布的春节消费大数据显示:春节期间,本地以旧换新消费需求进一步扩大,苏宁易购门店迎来销售“小高峰”,全国门店客流同比提升80%,以旧换新订单量同比增长92%。...
02-07
1月24日消息,苏宁易采云近日与广东德玛仕智能厨房设备有限公司达成战略合作,未来双方将强化商用厨房数字化采购建设,共拓千亿商厨市场。未来双方将充分集成AI人工智能、物联网...
02-07
算法透明化,骑手跑的明明白白。1、美团成立算法顾问委员会,保障骑手权益近几年,美团的骑手大军数量增势讯猛。美团研究院数据披露,2023年美团骑手已经攀升至745万人,比2022年多了...
02-08
2月28日消息,携程集团近日与华盛顿特区旅游局签署战略合作协议,进一步推广华盛顿特区旅游资源。作为这项为期三年的战略合作的一部分,双方将在包括中国、日本和韩国在内的东亚...
03-01
自去年底开始,黄金多头优势逐渐退却,国际现货黄金价格经历几次大跌后一度跌下2700关口,多空进入漫长的震荡周期,多头始终无法找到再度冲高的时机。  北京时间1月21日,国际现货...
01-24
蛇送金光兆五湖,安凯客车驰四海。2月4日,安凯客车“贺新春全球行”批量发车仪式在安凯厂区隆重举行。开工即迎大单,安凯客车党委书记、董事长、总经理黄李平携公司领导班子,以及...
02-09
近日在四川内江资中,一名小孩往下水道投放鞭炮,瞬间引发剧烈爆炸。 据国内媒体报道称,四川资中县一男孩将鞭炮扔进下水道引发化粪池内沼气爆燃,事故现场多辆停放在...
02-02
加州大学欧文分校2023年的一项研究《茫然与困惑:关于reCAPTCHAv2的大规模真实用户研究》得出结论,验证码不仅在实际阻止机器人流量方面效果不佳,还通过追踪cookie...
02-10
极目新闻记者 肖名远2月3日(正月初六),贵州省清镇市,余华英拐卖案受害者王能能终于回到老家与亲人们团聚,全村放鞭炮迎接。这一天,王能能的母亲张荣仙等待了30年,但对她来说,这次团...
02-04
中央气象台今早6点继续发布大风黄色预警和寒潮蓝色预警。大风黄色预警:预计今天8点到明天8点,华北、内蒙古中部、宁夏、陕西北部、黄淮等地的部分地区有5~6级、阵风7~8级的偏...
02-06
返回

点击右上角微信好友

朋友圈

点击浏览器下方“”分享微信好友Safari浏览器请点击“”按钮

点击右上角QQ

点击浏览器下方“”分享QQ好友Safari浏览器请点击“”按钮