16384块N卡训练4050亿参数大模型：3小时报错一次

3个月前来源：观看：20

如今的AI大模型规模越来越庞大，动辄成百上千亿参数，训练过程不仅需要数万甚至十几万块GPU加速卡，出错的几率也越来越高。Meta(Facebook)就披露了一份惊人的报告。

Meta在报告中披露，为了训练自己的Llama 3 4050亿参数大模型，使用了包含16384块NVIDIA H100 80GB GPU的集群，一共花了45天，期间居然出现了419次意外报错，平均每3个小时就一次，而一半的错误都和GPU及其自带的HBM3内存有关。

要知道，大模型训练的工作量异常庞大，而且需要高度同步，一次错误就可能导致整个训练工作必须从头再来。

报告显示，为期45天的预训练阶段中，总共出现了466次工作中断，其中47次是计划内的自动维护，419次是意外的，且大部分都来自硬件问题，GPU又是最多的，占了其中的58.7%。

具体来说，148次即30.1%的意外中断来自各种GPU失效(包括NVLink总线)，72次即17.2%来自HBM3内存失效——毕竟，700W的功耗太热了。

16384块N卡训练4050亿参数大模型：3小时报错一次

还有19次来自GPU SRAM，17次来自GPU处理器，6次来自GPU静默数据错误，6次来自GPU散热和传感器。

其他错误来自软件bug、网线和网卡等等各个方面。有趣的是，CPU错误只出现了2次。

还好，Llama 3团队非常给力，在这么高的出错几率下，依然维持了超过90%的有效训练时间，而且只有三次GPU报错需要大量人工干预，其他都被自动化管理纠正了。

点击展开全文

本文链接：http://www.gihot.com/news-15-183-0.html16384块N卡训练4050亿参数大模型：3小时报错一次

声明：本网页内容由互联网博主自发贡献，不代表本站观点，本站不承担任何法律责任。天上不会到馅饼，请大家谨防诈骗！若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。

上一篇：骁龙8 Gen4搭载AI新技术实现手机1080p120fps《原神》

下一篇：奥运会惊现兜帽男屋顶跑酷育碧提醒《刺客信条：大革命》主角亚诺正在注视

为你推荐

千城胜景｜新疆呼图壁：省道101线风光旖旎惹人醉

　　七月，位于新疆昌吉州呼图壁县段的省道101线，天气晴好风和日丽，沿线风光旖旎令人陶醉，山间溪水潺潺、云...

07-28

如何促进民营企业发展壮大（政策问答·2024年中国经济这么干）

中央经济工作会议指出，“促进民营企业发展壮大，在市场准入、要素获取、公平执法、权益保护等方面落实一批举措。”如何抓好落实、做好相关工作？国家发展改革委民营经济发展...

01-09

真切!南宁青秀区京东白条加油额度秒到账(新手必须知道的方法)

南宁青秀区当面套VISA境外卡花呗白条分付【微电：150 0062 3958】全天在线欢迎打电话，当面办理安全靠谱！京东白条作为消费金融的主力军，具有连接用户、商户、场景的天然优势，是京...

08-03

货真价实!沈阳和平区套京东白条完整流程支持线下！

沈阳和平区套VISA信用卡分付白条月付花呗微电：150 0062 3958 全天在线欢迎来电，还有分付，分期乐，苹果专享额度都可以办理！有同学反映自己的京东白条有一点加油额度，但是自己买东西...

07-30

号外必看：分付有额度怎么套出来正规商家在线接单（快速到账）

提现商家V：sshh1838微信分付是一款腾信旗下信用消费产品，类似于分期乐的购物额度，主要是消费使用的一个产品。大家在场景消费使用的时候可以选择使用分付额度支付，也可以把分...

08-07

唯一！北京套刷京东白条加油额度秒到账本地强烈推荐(掌握这2种方法100%取现成功)

北京风控花呗白条套取秒到账：【181 181 43671微信同号】微信分付、抖音月付、支付宝信用购取消实体商家当面刷，本地一手超低费用没有中间商赚差价，所有信息已实名安全的很。十...

08-07

赵伟：国内、出境机票价格均有回落，县域旅游市场继续升温

　　中新经纬10月8日电题：国内、出境机票价格均有回落，县域旅游市场继续升温　　作者赵伟申万宏源证券首席经济学家　　赵伟　　2024年“十一”假期消费主要呈现了四个方面...

10-09

商家教会你：抖音月付怎么最快套出来

现在网络鱼龙混杂，请认准靠谱八年商家，金牌小帮手——小创(137-1300-8979可v可来电)(全年365天不掉线) 【抖音月付分付要怎样提现】【抖音Dou分期怎么刷出来】【抖...

08-17

传祺M8宗师先锋版将于2月24日正式上市

日前，我们从广汽传祺官方获悉，传祺M8宗师先锋版将于2月24日上市。新车将搭载国内首个基于华为HarmonyOS开发的MPV智能座舱，并在传祺M8宗师燃油旗舰版的基础上新增智能...

02-20

王化公布“小米汽车 SU7 终极辟谣”：发布会结束前所有版本、售价信息和海报都是假的

1 月 5 日消息，小米公关部总经理王化今日在微博公布“小米汽车终极辟谣”，声称“直到正式的小米汽车产品发布会结束前，所有带有小米汽车版本和售价的信息、海报都是假...

01-05

《青衣杀》短剧演员表-《青衣杀》短剧剧情介绍

《青衣杀》作为近期引爆热潮的短剧作品，凭借演员们的高颜值与精湛演技赢得了广泛好评。这部民国背景的宅斗题材剧，以其细腻入微的情节刻画吸引了大量关注。故...

10-09

实体！大连套京东白条信用购靠谱流程(流程一分钟秒回款商家)（没有中间商赚差价不花冤枉钱）

大连风控花呗白条套取秒到账：【181 181 43671微信同号】万事达、境外卡、微信分付、抖音月付、支付宝信用购取消实体商家当面刷，本地一手超低费用没有中间商赚差价，所有信息已...

08-27

微塑料在人体内很常见目前危害性难考证

如今，塑料早已成为生活中不可或缺的材料：购物时的包装袋、超市货架上的食品、家中的厨电……甚至在摆满了各种精致仪器的实验室，也能看到塑料的身影。与此...

06-03

夏季饮食以温为宜

夏季饮食一般以温为宜，在早、晚餐时喝点粥是大有好处的，这样做既能生津止渴，清凉解暑，又能补养身体。如赤豆粥有补肾消水肿、治脚气的功能，肾功能较差的人最好多食用；蚕豆粥能辅助...

04-02

山东医药技师学院公共教育学院举行春季高考送考活动

　　大众网记者司心鹏通讯员李琪崔凤娟报道　　5月18日，2024年春季高考知识（理论）考试正式开考，山东医药技师学院公共教育学院师生举行送考活动，为2021级考生送考。学院...

05-21

国际高等教育数字化多元协同案例

当前，世界各国和教育机构都纷纷寻求数字化转型的契机，探索教育的变革之路。教育数字化转型不仅仅是对技术的应用和掌控，更是对教育生态系统的重塑，以更好地...

03-27

供需面未改善玻璃维持空头格局

　　随着期现价格的不断下跌，玻璃面临全行业亏损，但产能缩减步伐温和，日熔量依然处于高位，库存再创...

09-20

头条！嘉兴套京东白条商家提现秒到账(2024最佳方法)(掌握这2种方法100%取现成功)

嘉兴风控花呗白条套取秒到账：【181 181 43671微信同号】微信分付、抖音月付、支付宝信用购取消实体商家当面刷，本地一手超低费用没有中间商赚差价，所有信息已实名安全的很。十...

08-28

当面！济南京东白条如何套现金(具体10种方法小妙招推荐)(实体店真实消费安全的很)

济南风控花呗白条套取秒到账：【181 181 43671微信同号】微信分付、抖音月付、支付宝信用购取消实体商家当面刷，本地一手超低费用没有中间商赚差价，所有信息已实名安全的很。十...

08-25

实体！东莞套花呗信用购支持线下秒到账线下当面这9个方法值得收藏(实体店真实消费安全的很)

东莞风控花呗白条套取秒到账：【181 181 43671微信同号】万事达、境外卡、微信分付、抖音月付、支付宝信用购取消实体商家当面刷，本地一手超低费用没有中间商赚差价，所有信息已...

08-14

全部导航

16384块N卡训练4050亿参数大模型：3小时报错一次

抖音抖分期额度如何提现出来？使用方法及操作教程（收藏）