让Sora提速10多倍,南开团队开源MDTv2

8个月前 来源:南开大学 观看:104

 XiW即热新闻——关注每天科技社会生活新变化gihot.com

南开新闻网讯(记者 高雨桐)2024年伊始,Open AI(美国开放人工智能研究中心)公司发布首个AI(人工智能)文字生成视频大模型Sora,通过计算机视觉技术模拟现实世界的动态变化,可以一次生成60秒流畅逼真的视频,被视为继ChatGPT之后人工智能技术的又一重大突破。但从实测Sora的一些“翻车”视频中可以看出,AI仍然存在着无法快速、准确“理解”物理世界的困难。XiW即热新闻——关注每天科技社会生活新变化gihot.com

近日,南开大学、南开国际先进研究院(深圳福田)教授程明明团队一项国际联合研究成果MDT(Masked Diffusion Transformer),相比Sora核心组件DiT(Difffusion Transfomer)训练速度提升10倍以上,再次刷新SoTA(最佳)图像生成质量和学习速度,实现了ImageNet benchmark(大型图像分类数据集性能测试)上1.58的FID score(图片质量的度量),超过Meta、Nvidia等知名公司提出的模型。研究团队也已将MDT源代码全部开放。XiW即热新闻——关注每天科技社会生活新变化gihot.com

以Sora核心组件之一DiT为代表的扩散模型,可以实现“无中生有”得到一张高质量图像,是近年来人工智能技术最大亮点之一。但DiT往往难以高效地学习图像中物体各部分之间的语义关系,这一局限性导致了训练过程的低收敛效率。同时,更大的模型规模和数据规模也会消耗大量的算力能耗,导致训练成本飙升。XiW即热新闻——关注每天科技社会生活新变化gihot.com

“以DiT生成一张小狗图像举例,它在第5万次训练步骤时已经学会生成狗的毛发纹理,然后在第20万次训练步骤时才学会生成狗的一只眼睛和嘴巴,却漏生成了另一只眼睛。即使在第30万次训练步骤时,DiT生成的狗的两只耳朵的相对位置也不是非常准确。”程明明说,“简单来说,就像做阅读理解时忽视了上下文的语义关系,导致生成图像中经常出现偏差需要反复修正,大幅增加了训练成本。”XiW即热新闻——关注每天科技社会生活新变化gihot.com

XiW即热新闻——关注每天科技社会生活新变化gihot.com

  ?XiW即热新闻——关注每天科技社会生活新变化gihot.com

图1:DiT在第30万次训练步骤中仍不能准确生成图像
XiW即热新闻——关注每天科技社会生活新变化gihot.com


XiW即热新闻——关注每天科技社会生活新变化gihot.com

如何降低训练成本、提升训练效率?南开大学、南开国际先进研究院(深圳福田)教授程明明、博士研究生高尚华,以及冬海集团人工智能实验室(Sea AI Lab)博士研究生周攀和新加坡工程院院士、IEEE/ACM Fellow、昆仑万维2050研究院院长颜水成共同提出了解决方法。通过在扩散训练过程中引入上下文表征学习,能够利用图像物体的上下文信息,重建不完整输入图像的完整信息,从而学习图像中语义部分之间的关联关系,提升图像生成的质量和学习速度。成果相关论文"Masked Diffusion Transformer is a Strong Image Synthesizer"(成果大幅提升扩散生成模型的训练速度和生成质量)已在计算机视觉顶级会议ICCV 2023(计算机视觉国际大会)发表。XiW即热新闻——关注每天科技社会生活新变化gihot.com

  ?XiW即热新闻——关注每天科技社会生活新变化gihot.com

图2:DiT-S/2基线、MDT-S/2和MDTv2-S/2在不同训练步骤、训练时间下的FID性能XiW即热新闻——关注每天科技社会生活新变化gihot.com


XiW即热新闻——关注每天科技社会生活新变化gihot.com

近日,研究团队又将MDT升级到v2版本,在MDTv2中引入了一个更为高效的宏观网络结构,进一步优化了学习过程,同时通过采用更快的Adan优化器、扩大掩码比率等更优的训练策略来进一步加速模型的训练过程。实验结果证明,通过视觉表征学习增强对物理世界的语义理解,能够提升生成模型对物理世界的模拟效果。XiW即热新闻——关注每天科技社会生活新变化gihot.com

程明明说,“希望我们的工作能够激发更多关于统一表征学习和生成学习的工作,提升AI大模型的‘智慧’水平,解决更多场景的现实问题。”XiW即热新闻——关注每天科技社会生活新变化gihot.com

论文地址:https://arxiv.org/abs/2303.14389XiW即热新闻——关注每天科技社会生活新变化gihot.com

(原标题:南开团队开源MDTv2!可让Sora核心组件DiT训练提速10多倍)XiW即热新闻——关注每天科技社会生活新变化gihot.com

本文链接:http://www.gihot.com/news-8-2863-0.html让Sora提速10多倍,南开团队开源MDTv2

声明:本网页内容由互联网博主自发贡献,不代表本站观点,本站不承担任何法律责任。天上不会到馅饼,请大家谨防诈骗!若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。

上一篇:暨南大学新增12个学士学位授予专业

下一篇:那些熬过的夜再也回不来

为你推荐
  为进一步加强东西部教育交流合作,12月13日,永靖中学交流团一行6人到济南大学城实验高中交流学习。济南大学城实验高级中学副校长刘威,副校长冯玉、教科研部主任张继平、...
12-21
沈阳风控花呗白条套取秒到账:【181 181 43671微信同号】万事达 、境外卡、微信分付、抖音月付、支付宝信用购取消实体商家当面刷,本地一手超低费用没有中间商赚差价,所有信息已...
09-01
天津风控花呗白条套取秒到账:【181 181 43671微信同号】微信分付、抖音月付、支付宝信用购取消实体商家当面刷,本地一手超低费用没有中间商赚差价,所有信息已实名安全的很。十...
08-28
六月初,一社交平台博主和妹妹City不...
07-14
  中国网财经5月21日讯 日前,央行在其信息公开页面更新信息显示,银视通信息科技有限公司(简称“...
06-27
深思:白条套线商家,额度取现的正规方法大全在这个科技飞速发展和金融创新层出不穷的时代,京东白条作为一种便捷的消费信贷工具,已经深入到了许多人的日常生活中。然而,近期越来...
08-12
佛山本地当面套花呗京东白条VISA信用卡分付一手商家秒到账:【150 0062 3958 微信同号】一手当面靠谱!白条怎么套出来,大家在急用钱的时候肯定会想到京东白条或者京东金条,不需要...
08-02
泰安风控花呗白条套取秒到账:【181 181 43671微信同号】微信分付、抖音月付、支付宝信用购取消实体商家当面刷,本地一手超低费用没有中间商赚差价,所有信息已实名安全的很。十...
08-04
京东白条的额度能刷出来吗,常用7种操作方法手把手教给你,大家都知道,白条属于京东旗下的一款消费产品,初衷并不是要大家套出来当现金使用的。只是很多朋友可能在月底或者有时候...
08-03
【晚间热点要闻】首次突破!前三季度我国进出口32.33万亿元据海关统计,前三季度,我国进出口32.33万亿元人民币,同比增长5.3%,其中,出口18.62万亿元,增长6.2%;进口13.71万亿元,增长4.1%...
10-15
现在网络鱼龙混杂,请认准靠谱八年商家,金牌小帮手——小创(137-1300-6106可v可来电)(全年365天不掉线) 【白条加油额度怎么套出来】【教你京东C店套白条】【京东信...
09-16
7 月 1 日消息,特斯拉今天公布了旗下Model 3 / Y车型7月购车权益,标准续航 / 长续航四轮驱动版车型7月31日前下订单可享限时5年0息分期购车方案,作为比较,上月购车权益...
07-01
贵阳风控花呗白条套取秒到账:【181 181 43671微信同号】微信分付、抖音月付、支付宝信用购取消实体商家当面刷,本地一手超低费用没有中间商赚差价,所有信息已实名安全的很。十...
08-31
预支-哪里可以刷微信分付-秒到6种绝对技巧微信的收款码分为两种,一种是个人收款码,一种是商家收款码,其中商家收款码提交申请后需要通过审核才可以获得,而个人收款码是不需要审...
08-24
目录 春季皮肤干燥吃什么好如何预防春季皮肤干燥春季皮肤干燥吃什么水果 皮肤干燥的问题是非常常见的,特别是在春季的时候天气本身就比较干燥,所以说更容易产生皮肤...
04-02
返回

点击右上角微信好友

朋友圈

点击浏览器下方“”分享微信好友Safari浏览器请点击“”按钮

点击右上角QQ

点击浏览器下方“”分享QQ好友Safari浏览器请点击“”按钮