当红炸子鸡DeepSeek,为何花心思自研存储?

1天前 来源:央广网 观看:2

这两天DeepSeek开源3FS并行文件系统的消息,犹如向AI基础设施领域投下一枚深水炸弹。3FS每秒能搬运6.6TB数据,相当于1秒钟传输完700部4K高清电影。还能自动调资源,国产芯片用了它,跟国际大牌的差距直接缩小到15%。Ajt即热新闻——关注每天科技社会生活新变化gihot.com

这并非简单的技术迭代——当Llama3 70B模型单次训练需吞掉15PB数据(相当于连续播放250万小时4K视频)时,全球AI实验室突然意识到:决定大模型训练效率的不仅是GPU算力,存储系统正成为影响进度的一大瓶颈。Ajt即热新闻——关注每天科技社会生活新变化gihot.com

当AI算力狂飙时,存储正在成为隐形战场Ajt即热新闻——关注每天科技社会生活新变化gihot.com

2024年,某头部AI公司曾因存储带宽不足,导致2000张A100显卡的算力利用率长期低于40%,单日经济损失超百万美元。这暴露了AI时代的“木桶效应”——当GPU计算速度进入微秒级时,一次突发的存储抖动就可能导致整个训练任务崩溃,让数周的计算成果瞬间蒸发。这或许也是DeepSeek自研存储的原因。Ajt即热新闻——关注每天科技社会生活新变化gihot.com

数据显示,存储优化可直接将175B参数模型的训练周期压缩30%,对应百万美元级的成本被填平。而在推理端,当10%的异常请求遭遇存储延迟波动时,P99响应时间会瞬间突破SLA红线,这正是某自动驾驶公司在线服务突发降级的根本诱因。Ajt即热新闻——关注每天科技社会生活新变化gihot.com

DeepSeek之所以选择自研3FS的本质,正是发现了存储架构在AI应用中的重要性。《金融行业先进AI存力报告》中提到,在同样的GPU算力规模下,存储性能的高低可能造成模型训练周期数倍的差异。在算力竞赛的背后,一场关于存储性能密度的暗战悄然升级,自研存储显得尤为重要。Ajt即热新闻——关注每天科技社会生活新变化gihot.com

5家头部厂商角逐AI存储,国产能否拔得头筹Ajt即热新闻——关注每天科技社会生活新变化gihot.com

相比于传统AI的需求,大模型对存力需求场景具有数据量大、参数规模大、训练周期长等特点。Ajt即热新闻——关注每天科技社会生活新变化gihot.com

为了提升大模型训练速度,需要对大规模数据集进行快速加载,且一般采用数百甚至上万张GPU构成计算集群进行高效的并行计算,需要高并发输入/输出(I/O)处理,而训练数据集呈现海量小文件的特点,文件量在几亿到几十亿量级,对应的带宽需求可能每秒要达到上TB,这就要求存储系统具备强大的数据管理能力,业界能达到该能力的仅寥寥几家。Ajt即热新闻——关注每天科技社会生活新变化gihot.com

从国内外优秀的并行存储产品具体能力对比来看,IBM作为老牌存储品牌,其产品从HPC场景成功向AI场景演进。在全球AI场景得到广泛应用的DDN,多个读、写带宽等关键性能指标上表现突出,但DDN由于技术封闭性、专有化硬件等原因,导致用户建设成本过高。Ajt即热新闻——关注每天科技社会生活新变化gihot.com

国产厂商DeepSeek 3FS虽然是开源的新产品,但相对老牌存储也有不错的表现,在读带宽能力上表现优异,单集群6.6TB/s,平均单节点36.7GB/s的读带宽。Ajt即热新闻——关注每天科技社会生活新变化gihot.com

另一家国产厂商京东云云海,在这个专业领域同样表现出色,以单节点95GB/s的读带宽、60GB/s的写带宽,进一步拉低了国产存储与国际老牌厂商的差距。相较于DeepSeek的3FS,京东云云海在提供高性能的同时适用性更广,可以同时满足DeepSeek、ChatGPT、LLaMA等20余种主流大模型的存力需求。Ajt即热新闻——关注每天科技社会生活新变化gihot.com

综上来看,随着大模型快速向纵深场景演进,对存储的要求也越来越高,DeepSeek 3FS、京东云云海等国产存储,显示出在处理大规模数据集时的优越性能。未来国产存储能否拔得头筹,让我们拭目以待。Ajt即热新闻——关注每天科技社会生活新变化gihot.com

这两天DeepSeek开源3FS并行文件系统的消息,犹如向AI基础设施领域投下一枚深水炸弹。3FS每秒能搬运6.6TB数据,相当于1秒钟传输完700部4K高清电影。还能自动调资源,国产芯片用了它,跟国际大牌的差距直接缩小到15%。Ajt即热新闻——关注每天科技社会生活新变化gihot.com

这并非简单的技术迭代——当Llama3 70B模型单次训练需吞掉15PB数据(相当于连续播放250万小时4K视频)时,全球AI实验室突然意识到:决定大模型训练效率的不仅是GPU算力,存储系统正成为影响进度的一大瓶颈。Ajt即热新闻——关注每天科技社会生活新变化gihot.com

当AI算力狂飙时,存储正在成为隐形战场Ajt即热新闻——关注每天科技社会生活新变化gihot.com

2024年,某头部AI公司曾因存储带宽不足,导致2000张A100显卡的算力利用率长期低于40%,单日经济损失超百万美元。这暴露了AI时代的“木桶效应”——当GPU计算速度进入微秒级时,一次突发的存储抖动就可能导致整个训练任务崩溃,让数周的计算成果瞬间蒸发。这或许也是DeepSeek自研存储的原因。Ajt即热新闻——关注每天科技社会生活新变化gihot.com

数据显示,存储优化可直接将175B参数模型的训练周期压缩30%,对应百万美元级的成本被填平。而在推理端,当10%的异常请求遭遇存储延迟波动时,P99响应时间会瞬间突破SLA红线,这正是某自动驾驶公司在线服务突发降级的根本诱因。Ajt即热新闻——关注每天科技社会生活新变化gihot.com

DeepSeek之所以选择自研3FS的本质,正是发现了存储架构在AI应用中的重要性。《金融行业先进AI存力报告》中提到,在同样的GPU算力规模下,存储性能的高低可能造成模型训练周期数倍的差异。在算力竞赛的背后,一场关于存储性能密度的暗战悄然升级,自研存储显得尤为重要。Ajt即热新闻——关注每天科技社会生活新变化gihot.com

5家头部厂商角逐AI存储,国产能否拔得头筹Ajt即热新闻——关注每天科技社会生活新变化gihot.com

相比于传统AI的需求,大模型对存力需求场景具有数据量大、参数规模大、训练周期长等特点。Ajt即热新闻——关注每天科技社会生活新变化gihot.com

为了提升大模型训练速度,需要对大规模数据集进行快速加载,且一般采用数百甚至上万张GPU构成计算集群进行高效的并行计算,需要高并发输入/输出(I/O)处理,而训练数据集呈现海量小文件的特点,文件量在几亿到几十亿量级,对应的带宽需求可能每秒要达到上TB,这就要求存储系统具备强大的数据管理能力,业界能达到该能力的仅寥寥几家。Ajt即热新闻——关注每天科技社会生活新变化gihot.com

从国内外优秀的并行存储产品具体能力对比来看,IBM作为老牌存储品牌,其产品从HPC场景成功向AI场景演进。在全球AI场景得到广泛应用的DDN,多个读、写带宽等关键性能指标上表现突出,但DDN由于技术封闭性、专有化硬件等原因,导致用户建设成本过高。Ajt即热新闻——关注每天科技社会生活新变化gihot.com

国产厂商DeepSeek 3FS虽然是开源的新产品,但相对老牌存储也有不错的表现,在读带宽能力上表现优异,单集群6.6TB/s,平均单节点36.7GB/s的读带宽。Ajt即热新闻——关注每天科技社会生活新变化gihot.com

另一家国产厂商京东云云海,在这个专业领域同样表现出色,以单节点95GB/s的读带宽、60GB/s的写带宽,进一步拉低了国产存储与国际老牌厂商的差距。相较于DeepSeek的3FS,京东云云海在提供高性能的同时适用性更广,可以同时满足DeepSeek、ChatGPT、LLaMA等20余种主流大模型的存力需求。Ajt即热新闻——关注每天科技社会生活新变化gihot.com

综上来看,随着大模型快速向纵深场景演进,对存储的要求也越来越高,DeepSeek 3FS、京东云云海等国产存储,显示出在处理大规模数据集时的优越性能。未来国产存储能否拔得头筹,让我们拭目以待。Ajt即热新闻——关注每天科技社会生活新变化gihot.com

本文链接:http://www.gihot.com/news-2-1074-0.html当红炸子鸡DeepSeek,为何花心思自研存储?

声明:本网页内容由互联网博主自发贡献,不代表本站观点,本站不承担任何法律责任。天上不会到馅饼,请大家谨防诈骗!若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。

上一篇:“七星连珠”为何并非“罕见奇观”

下一篇:多地积极布局智慧养老 养老机器人已“上岗”

为你推荐
昆虫即使在弱光条件下也能表现出极其优秀的敏捷性和反应能力。秘密在于它们的复眼能以惊人的速度和灵敏度检测运动。韩国科学技术院研究人员模仿这...
01-21
  湖南张家界荷花国际机场作为新增口岸之一,2024年出入境人员达到56.3万人次,同比增长1.5倍。免...
01-21
  我省近岸海域水质稳中向好,海洋生态环境质量持续改善。日前,生态环境部公布了第三批美丽海湾优秀案例...
02-11
  新华社拉萨1月21日电(记者蒋梦辰、刘洪明)2024年西藏农村居民人均可支配收入21578元,同比增长8.3%。同时,城乡居民收入差距持续缩小,城乡居民收入倍差由上年的2.60降至2.57。...
01-22
  财联社1月21日讯(编辑 牛占林)当地时间周二(1月21日),马斯克领导的美国政府效率部(DOGE)已经开始正式运作,第一项工作便是移除首席多元化官员执行委员会的网站。  该网...
01-22
1 月 22 日消息,奇瑞星途汽车营销中心总经理黄招根在微博透露,奇瑞星途星纪元ES 增程版已向首批内测车主交付,计划 3 月初上市。作为参考,当前在售的 2025 款星纪元ES ...
01-23
2 月 5 日消息,广汽埃安 AION UT 纯电小车将于 2 月底上市,该车上个月已开启预售,预售价格为 8.98 万元到 10.98 万元,99 元意向金抵 1000 元购车款。从此前官方介绍获...
02-06
近期备受瞩目的电视剧《难哄》中,郑可佳和温以凡的关系成为热门话题。这部剧在开拍前就吸引了大量粉丝关注,随着剧情推进,更多观众加入讨论,大家都对这对角色之...
02-20
《余烬之上》河神新娘真相是什么?河神新娘大结局是什么?‌《余烬之上》中“河神新娘案”的真相是引入了民间传说的元素:寡妇身披红衣待嫁,而准新郎却是河神‌‌...
02-21
  冬天适量食用南瓜,不仅能为身体提供丰富的营养,还能为健康加上一道坚实的屏障,南瓜也越来越成为受到人们喜爱的主食之一。南瓜...
01-21
1月22日,国家卫健委、国家中医药局联合发布《流行性感冒诊疗方案(2025年版)》,新增玛巴洛沙韦、法维拉韦两种抗流感病毒药物,并明确不建议联合...
01-23
  大众网记者 秦瑾 通讯员 祁凯丽 报道  12月20日,章丘区大中小学思政课一体化协同创新联盟成立暨大中小学思政课教学展示活动在齐鲁师范学院附属中学(章丘中学)报告厅...
01-21
  2024年8月20日,我和弟弟参加了北京银行西安分行和华商网童学会联合举办的“京苗小记者”研学活动,不仅过了一把警察瘾,而且从中学到了很多的新知识。  怀着激动的心情,我...
01-21
  摘要  临近春节,聚酯产业链进入交货“扫尾期”,也出现了一些新情况。  炒股第一步,先开个...
01-21
  中国经济网北京1月28日讯 江苏证监局网站近日披露了关于对南京银行股份有限公司采取出具警...
02-05
天秤男是一个追求平衡和和谐的星座,他们喜欢美丽、优雅的事物。当他们遇到某个特定的星...
01-22
水瓶座的男生一向以理性和独立著称,他们对于感情的态度也显得冷漠和难以捉摸。然而,当一...
01-22
北京时尚潮胖子服饰:穿出个性与自信在北方的气候里,冬天的衣物需要保暖,夏天则需要清凉。而对于胖子们来说,选择一套合适的服饰不仅要考虑到舒适度,更要能够展现个人的魅力。作为...
02-07
探索C C潮流服饰:引领时尚的新风尚在如今这个快节奏的时代,C C潮流服饰无疑成为了时尚界的一股新生力量。无论是在街头还是社交平台上,C C品牌的出现总能引起一阵波澜,吸引着无...
02-17
2月4日消息,满载着15吨临猗苹果的冷链运输车近日从山西省运城市临猗县北辛乡卓逸村万华果业基地出发前往青岛港,通过海运至澳大利亚。这是临猗县发展跨境电商业务以来,今年首单...
02-07
2月17日消息,1688温州选品中心落户温州大象城开工盛典仪式日前举行,标志着温州市电商发展迈入新篇章。图源:1688商人圈公众号活动现场,1688温州选品中心合作链主林景乐表示,1688 ...
02-18
2月6日消息,交通部门预计,今年春运期间,自驾出行预计达到72亿人次,约占全社会跨区域人员流动量的八成,高速公路车流量单日峰值或创历史新高。全球自驾游平台租租车数据显示,春节期...
02-07
牧业公司在2024年度过艰难一年,即便是头部玩家也不例外。 现代牧业(01117.HK)2月18日晚间发布盈利预警,预期截至2024年12月31日止年...
02-21
作 者:罗拓 提到消费投资,加华资本的创始人宋向前是一个绕不开的人物。即使你不关注投资行业本身,或许你也听过他的言论。 过去数年,不少知名机构都在逃离消费投资。在消费投资...
01-21
2025年,卖奶茶的拼命IPO。作者 | 萧风来源 | 投资家(ID:touzijias)2025年,卖奶茶的拼命IPO。投资家网获悉,号称“每天一杯喝不腻”的新式茶饮公司古茗已通过港交所聆讯、更新招股...
01-22
之前在Xbox直面会上,忍者龙剑传2复刻版《忍者龙剑传2 黑之章》正式公布。随后该作上架Steam并发售,售价298元,游戏总评为“多半好评”。 Steam商店地址:点击进入 ...
01-28
2月8日消息,新年伊始,小米集团股价持续上扬,已经创下了历史新高。 2月7日,小米集团盘中最高冲至43.05港元/股,截至收盘报42.45港元,涨4.69%,股价创历史新高,总市值1065...
02-10
当地时间2月6日,美国华盛顿州联邦法官约翰·考根诺尔作出裁决,阻止美国总统特朗普此前发布的废除“出生公民权”行政令生效。这是两天内,美国联邦法官第二次对该行政令采取禁令...
02-07
加沙地带(资料图) 当地时间9日,针对以色列总理内塔尼亚胡称可以在沙特境内建立巴勒斯坦国的言论,沙特外交部发表声明称,相关言论将导致巴勒斯坦人民流离失所,旨在转移人们对以...
02-09
返回

点击右上角微信好友

朋友圈

点击浏览器下方“”分享微信好友Safari浏览器请点击“”按钮

点击右上角QQ

点击浏览器下方“”分享QQ好友Safari浏览器请点击“”按钮