当红炸子鸡DeepSeek,为何花心思自研存储?

1天前 来源:央广网 观看:3

这两天DeepSeek开源3FS并行文件系统的消息,犹如向AI基础设施领域投下一枚深水炸弹。3FS每秒能搬运6.6TB数据,相当于1秒钟传输完700部4K高清电影。还能自动调资源,国产芯片用了它,跟国际大牌的差距直接缩小到15%。rnH即热新闻——关注每天科技社会生活新变化gihot.com

这并非简单的技术迭代——当Llama3 70B模型单次训练需吞掉15PB数据(相当于连续播放250万小时4K视频)时,全球AI实验室突然意识到:决定大模型训练效率的不仅是GPU算力,存储系统正成为影响进度的一大瓶颈。rnH即热新闻——关注每天科技社会生活新变化gihot.com

当AI算力狂飙时,存储正在成为隐形战场rnH即热新闻——关注每天科技社会生活新变化gihot.com

2024年,某头部AI公司曾因存储带宽不足,导致2000张A100显卡的算力利用率长期低于40%,单日经济损失超百万美元。这暴露了AI时代的“木桶效应”——当GPU计算速度进入微秒级时,一次突发的存储抖动就可能导致整个训练任务崩溃,让数周的计算成果瞬间蒸发。这或许也是DeepSeek自研存储的原因。rnH即热新闻——关注每天科技社会生活新变化gihot.com

数据显示,存储优化可直接将175B参数模型的训练周期压缩30%,对应百万美元级的成本被填平。而在推理端,当10%的异常请求遭遇存储延迟波动时,P99响应时间会瞬间突破SLA红线,这正是某自动驾驶公司在线服务突发降级的根本诱因。rnH即热新闻——关注每天科技社会生活新变化gihot.com

DeepSeek之所以选择自研3FS的本质,正是发现了存储架构在AI应用中的重要性。《金融行业先进AI存力报告》中提到,在同样的GPU算力规模下,存储性能的高低可能造成模型训练周期数倍的差异。在算力竞赛的背后,一场关于存储性能密度的暗战悄然升级,自研存储显得尤为重要。rnH即热新闻——关注每天科技社会生活新变化gihot.com

5家头部厂商角逐AI存储,国产能否拔得头筹rnH即热新闻——关注每天科技社会生活新变化gihot.com

相比于传统AI的需求,大模型对存力需求场景具有数据量大、参数规模大、训练周期长等特点。rnH即热新闻——关注每天科技社会生活新变化gihot.com

为了提升大模型训练速度,需要对大规模数据集进行快速加载,且一般采用数百甚至上万张GPU构成计算集群进行高效的并行计算,需要高并发输入/输出(I/O)处理,而训练数据集呈现海量小文件的特点,文件量在几亿到几十亿量级,对应的带宽需求可能每秒要达到上TB,这就要求存储系统具备强大的数据管理能力,业界能达到该能力的仅寥寥几家。rnH即热新闻——关注每天科技社会生活新变化gihot.com

从国内外优秀的并行存储产品具体能力对比来看,IBM作为老牌存储品牌,其产品从HPC场景成功向AI场景演进。在全球AI场景得到广泛应用的DDN,多个读、写带宽等关键性能指标上表现突出,但DDN由于技术封闭性、专有化硬件等原因,导致用户建设成本过高。rnH即热新闻——关注每天科技社会生活新变化gihot.com

国产厂商DeepSeek 3FS虽然是开源的新产品,但相对老牌存储也有不错的表现,在读带宽能力上表现优异,单集群6.6TB/s,平均单节点36.7GB/s的读带宽。rnH即热新闻——关注每天科技社会生活新变化gihot.com

另一家国产厂商京东云云海,在这个专业领域同样表现出色,以单节点95GB/s的读带宽、60GB/s的写带宽,进一步拉低了国产存储与国际老牌厂商的差距。相较于DeepSeek的3FS,京东云云海在提供高性能的同时适用性更广,可以同时满足DeepSeek、ChatGPT、LLaMA等20余种主流大模型的存力需求。rnH即热新闻——关注每天科技社会生活新变化gihot.com

综上来看,随着大模型快速向纵深场景演进,对存储的要求也越来越高,DeepSeek 3FS、京东云云海等国产存储,显示出在处理大规模数据集时的优越性能。未来国产存储能否拔得头筹,让我们拭目以待。rnH即热新闻——关注每天科技社会生活新变化gihot.com

这两天DeepSeek开源3FS并行文件系统的消息,犹如向AI基础设施领域投下一枚深水炸弹。3FS每秒能搬运6.6TB数据,相当于1秒钟传输完700部4K高清电影。还能自动调资源,国产芯片用了它,跟国际大牌的差距直接缩小到15%。rnH即热新闻——关注每天科技社会生活新变化gihot.com

这并非简单的技术迭代——当Llama3 70B模型单次训练需吞掉15PB数据(相当于连续播放250万小时4K视频)时,全球AI实验室突然意识到:决定大模型训练效率的不仅是GPU算力,存储系统正成为影响进度的一大瓶颈。rnH即热新闻——关注每天科技社会生活新变化gihot.com

当AI算力狂飙时,存储正在成为隐形战场rnH即热新闻——关注每天科技社会生活新变化gihot.com

2024年,某头部AI公司曾因存储带宽不足,导致2000张A100显卡的算力利用率长期低于40%,单日经济损失超百万美元。这暴露了AI时代的“木桶效应”——当GPU计算速度进入微秒级时,一次突发的存储抖动就可能导致整个训练任务崩溃,让数周的计算成果瞬间蒸发。这或许也是DeepSeek自研存储的原因。rnH即热新闻——关注每天科技社会生活新变化gihot.com

数据显示,存储优化可直接将175B参数模型的训练周期压缩30%,对应百万美元级的成本被填平。而在推理端,当10%的异常请求遭遇存储延迟波动时,P99响应时间会瞬间突破SLA红线,这正是某自动驾驶公司在线服务突发降级的根本诱因。rnH即热新闻——关注每天科技社会生活新变化gihot.com

DeepSeek之所以选择自研3FS的本质,正是发现了存储架构在AI应用中的重要性。《金融行业先进AI存力报告》中提到,在同样的GPU算力规模下,存储性能的高低可能造成模型训练周期数倍的差异。在算力竞赛的背后,一场关于存储性能密度的暗战悄然升级,自研存储显得尤为重要。rnH即热新闻——关注每天科技社会生活新变化gihot.com

5家头部厂商角逐AI存储,国产能否拔得头筹rnH即热新闻——关注每天科技社会生活新变化gihot.com

相比于传统AI的需求,大模型对存力需求场景具有数据量大、参数规模大、训练周期长等特点。rnH即热新闻——关注每天科技社会生活新变化gihot.com

为了提升大模型训练速度,需要对大规模数据集进行快速加载,且一般采用数百甚至上万张GPU构成计算集群进行高效的并行计算,需要高并发输入/输出(I/O)处理,而训练数据集呈现海量小文件的特点,文件量在几亿到几十亿量级,对应的带宽需求可能每秒要达到上TB,这就要求存储系统具备强大的数据管理能力,业界能达到该能力的仅寥寥几家。rnH即热新闻——关注每天科技社会生活新变化gihot.com

从国内外优秀的并行存储产品具体能力对比来看,IBM作为老牌存储品牌,其产品从HPC场景成功向AI场景演进。在全球AI场景得到广泛应用的DDN,多个读、写带宽等关键性能指标上表现突出,但DDN由于技术封闭性、专有化硬件等原因,导致用户建设成本过高。rnH即热新闻——关注每天科技社会生活新变化gihot.com

国产厂商DeepSeek 3FS虽然是开源的新产品,但相对老牌存储也有不错的表现,在读带宽能力上表现优异,单集群6.6TB/s,平均单节点36.7GB/s的读带宽。rnH即热新闻——关注每天科技社会生活新变化gihot.com

另一家国产厂商京东云云海,在这个专业领域同样表现出色,以单节点95GB/s的读带宽、60GB/s的写带宽,进一步拉低了国产存储与国际老牌厂商的差距。相较于DeepSeek的3FS,京东云云海在提供高性能的同时适用性更广,可以同时满足DeepSeek、ChatGPT、LLaMA等20余种主流大模型的存力需求。rnH即热新闻——关注每天科技社会生活新变化gihot.com

综上来看,随着大模型快速向纵深场景演进,对存储的要求也越来越高,DeepSeek 3FS、京东云云海等国产存储,显示出在处理大规模数据集时的优越性能。未来国产存储能否拔得头筹,让我们拭目以待。rnH即热新闻——关注每天科技社会生活新变化gihot.com

本文链接:http://www.gihot.com/news-2-1074-0.html当红炸子鸡DeepSeek,为何花心思自研存储?

声明:本网页内容由互联网博主自发贡献,不代表本站观点,本站不承担任何法律责任。天上不会到馅饼,请大家谨防诈骗!若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。

上一篇:“七星连珠”为何并非“罕见奇观”

下一篇:多地积极布局智慧养老 养老机器人已“上岗”

为你推荐
  IT之家1月20日消息,据台媒《经济日报》今日报道,已退休的鸿海副总裁、前夏普会长戴正吴,因挽救...
01-21
记忆力衰退,言语令人费解,行为变得怪异,突然发脾气、摔东西,曾经游刃有余的工作如今变得力不从心,甚至生活难以自理……一些老年人的性格和...
01-22
  春节假期临近,宠物寄养成为宠物主关注焦点。  记者12日走访上海多家宠物店发现,近期宠物寄...
01-21
  近日,省农业农村厅发布《辽宁省蚕遗传资源保护名录》,经论证评估,鲁黄、黄安东、胶蓝等13个品种列入保...
02-18
随着春节临近,大街小巷年味渐浓,人们也纷纷开始购置年货,线上线下都洋溢着火热气氛。近来,一些承载着“年味”和创新的中国年货也正火热出海,走俏全球。比如,自动麻将机。贵州松桃...
01-21
记者昨天(21日)从国家发展改革委了解到,我国第八批重大外资项目已经推出。这批标志性外资项目,将在带动我国进出口贸易、促进产业转型升级方面发挥积极作用。新一批重大外资项目...
01-22
2 月 6 日消息,福特 CEO 吉姆・法利在当地时间周三的财报电话会议上表示,增程电动汽车将在美国市场发挥重要作用,原因很简单:“美国人喜欢大车,尤其是大皮卡。”增程电动...
02-06
  近日,各大车企发布2025年1月销量数据。传统车企中,比亚迪、吉利等增长强劲;新势力车企排名变化...
02-06
最近,社交平台上充斥着关于“《白色橄榄树》李瓒被救回来了吗”的讨论。在这个故事中,李瓒的命运与众多角色紧密相连。他被绑架后经历了一场生死较量,最终由本...
02-20
《六姊妹》有几个女婿‌《六姊妹》中有9个女婿‌。这九个女婿分别是:‌张建国‌:何家丽的大女婿,出身军人,孤儿身份,被何家当家人何常胜看中,成为何家丽的伴侣‌...
02-20
1月22日,国家卫健委、国家中医药局联合发布《流行性感冒诊疗方案(2025年版)》,新增玛巴洛沙韦、法维拉韦两种抗流感病毒药物,并明确不建议联合...
01-23
21世纪经济报道记者 李佳英 广州报道2月4日,美国生物科技公司United Therapeutics宣布,其异种肾脏UKidney移植临床研究获美国FDA批准,标志着...
02-07
  我是莆田阅读推广的追梦人,揣着一份“让阅读滋养人们心灵、让教育生活因书而美好”的炽热梦...
01-21
  大众网记者 司心鹏 报道  12月25日,济南特殊教育中心与济南市公安局公共交通分局联动会议在自强楼会议室召开。  济南特殊教育中心的学校领导热情接待了来访的警...
01-21
  内蒙古保险行业协会针对非法“代理退保”猖獗、严重扰乱保险市场秩序的问题,为切实保护消费...
01-21
  根据日程安排,2月11日,美联储主席鲍威尔将出席美国参议院金融委员会的听证会,就半年度货币政策...
02-11
巨蟹座是一个温柔、敏感且充满爱心的星座,他们对家庭和情感非常重视。因此,与哪个星座最...
01-22
双鱼座的男生通常都是非常浪漫和敏感的,他们对待爱情充满了幻想和渴望。如果你发现身边...
01-22
白衬衫搭配什么裤子男?一、白衬衫搭配什么裤子男?白衬衫搭配1、白衬衫搭配黑色西裤男士白色衬衫搭配一条黑色合身的西裤,系上黑色时尚皮带,穿上英伦皮鞋,很帅气有男人味,适合职场...
02-07
男生喜欢女生的穿搭类型?一、男生喜欢女生的穿搭类型?主要包括有性感、清新可爱、知性优雅、运动休闲等。其中,性感的穿搭可让男生感觉到女生的魅力和女性特有的自信;清新可爱的...
02-12
2月5日消息,盒马发布《2025盒区房春节消费报告》(以下简称“报告”)。《报告》显示,盒马年菜销售同比增长了42%,下单购买年菜的18-35岁的年轻消费者占比达56%,不同于老一辈,这届年...
02-07
阿里苹果或将联手,为iPhone开发AI功能一则重磅消息,让阿里股价再创阶段新高。2月11日晚间,据The Information援引知情人士消息称,苹果为了应对在中国市场销售下滑的局势,正积极寻...
02-13
2月12日消息,美团旅行数据显示,2月第一周,“元宵灯会”搜索量同比上涨351%,“元宵灯谜”搜索量同比上涨超225%。2025年元宵十大热门灯会分别是:唐山南湖春节灯会、自贡国际恐龙灯...
02-13
3月5日消息,抖音生活服务南部大区日前推出“萤光计划”,2025年将投入亿级流量、百万货补,帮助中小商家快速掌握运营技能、降低经营成本、获得交易增长。该计划将从资源激励、产...
03-05
全球性金融券商集团英国EBC Group平台始终致力于以领先生态,与全球交易者共塑交易的未来。 自第一届交易大赛起,为赤忱的热爱和卓越的才华提供舞台,在全球内寻找交易好手以赋能...
01-24
2024年11月25日,上海富勒信息科技有限公司(简称“富勒科技”)宣布完成超过3亿元人民币融资,本轮融资由经纬创投领投,高成投资、高瓴创投(GL Ventures)跟...
02-07
今日(1月24日)Xbox直面会上,忍者龙剑传2复刻版《忍者龙剑传2:黑之章》公布并发售,Steam国区售价298元,支持简体中文字幕。现在官网发布了角色截图,一起来欣赏下吧! ...
01-25
《巫术:疯狂领主的试验场》击败了《漫威蜘蛛侠2》和《战神5:诸神黄昏》等游戏,荣获今年格莱美最佳电子游戏原声音乐奖。 《巫术:疯狂领主的试验场》是1981年角色扮...
02-05
受加美关税战影响,2月2日外汇市场上,加元对美元汇率大幅下跌至1加元兑换0.6789美元。多伦多道明银行首席经济学家贝亚塔·卡兰西(Beata Caranci)和高级经济学家詹姆斯·奥兰多(Ja...
02-03
极目新闻记者 陈凌燕绘图 刘阳嗖地一下,年过完了。那么问题来了,说了那么多“新年快乐”,么样才能过好2025年?莫焦燥学会慢点嘎,冇得事嘀嘀嗒:我今年有个重要的计划,我要学会慢下来...
02-06
返回

点击右上角微信好友

朋友圈

点击浏览器下方“”分享微信好友Safari浏览器请点击“”按钮

点击右上角QQ

点击浏览器下方“”分享QQ好友Safari浏览器请点击“”按钮