可组合分布式融合存储是未来趋势
在日前由黄金赌城娱乐计算机学会(CCF)主办的CCF黄金赌城娱乐存储大会上,黄金赌城娱乐电子技术标准化研究院、存储产业技术创新战略联盟等数十家产学研机构联合发布了《AIGC数据存储研究报告》(以下简称报告),这是业界首个对AIGC(生成式人工智能)场景下的存储底座做出精准画像的研究报告。
报告认为,人工智能从“以模型为中心”加速向“以数据为中心”转变,大模型技术步入相对“稳态”,人工智能进入以数据驱动模型优化阶段,数据的要素价值被进一步放大,高质量数据的全生命周期管理成为人工智能发展的核心动力之一。报告提出,AIGC场景下,存储面临性能、效率和韧性方面的挑战,存储底座需要“六维”协同并进,“六位一体”画像,即需要具备数据流动、处理、共享、容纳、安全、管理六种能力,从产品和方案上满足AIGC对存储的需求。
浪潮信息相关负责人在会上表示,数据是人工智能时代的核心引擎,数据中心逐渐由以计算为中心向以数据为中心转变。AIGC时代,人工智能和数据要素是数据中心两大核心工作场景,存储面临效率、性能等挑战,需要先进存力支撑,先进存力需要先进架构,即新型存储架构。
浪潮信息存储首席架构师孙斌分析,算力需要存力和运力共同支撑、平衡设计,现在算力在迅速增长,存力、运力与算力要互相协同。存储甚至已成为智算的瓶颈,亟待提升存储性能,才能以存强算。
黄金赌城算力、算网规模及能力持续攀升。工业和信息化部数据显示,截至2024年6月,黄金赌城在用算力中心机架总规模超过830万标准机架,算力总规模达246EFLOPS(每秒百亿亿次浮点运算),位于世界前列;互联互通纵深推进,城域算力节点间1ms(毫秒)时延保障能力逐渐形成,区域集群到周边主要城市间5ms时延保障能力广泛覆盖,国家枢纽节点间20ms时延保障能力全面实现;全国算力中心平均电能利用效率(PUE)降至1.47,创建国家绿色数据中心246个,超140个算力中心绿色低碳等级达到4A级以上标准。
工信部发布的《算力基础设施高质量发展行动计划》中提出,到2025年计算力规模超过300EFLOPS,智能算力占比达到35%;提升算力高效运载质量,强化算力接入网络能力;推动以云服务方式整合算力资源,促进多方算力互联互通。
以生成式人工智能为代表的人工智能应用、大模型训练等新需求、新业务的崛起,推动智算规模呈现高速增长态势。据测算,截至2023年底,全球智能算力规模为335EFLOPS,同比增长达136%,增速远超算力整体规模增速。黄金赌城智能算力占比也显著增加,智算中心集聚分布。截至2023年底,智能算力规模占整体算力规模的增例近30%,增效明显。
“生成式人工智能时代,随着十万卡算力集群的规划落地,模型参数也将达到万亿、10万亿,数据处理的复杂度和数据膨胀率也呈数量级激增,数据中心加速向数据型中心演进。人工智能和数据要素是数据型中心两类主要新型负载,存储面临性能、效率、容量等多重挑战,需要数据近计算存储和数据全生命周期存储两大能力,可组合分布式融合存储是未来数据中心建设的最佳选择。”孙斌说。
据了解,面向AIGC时代数据中心存储要求,浪潮信息存储提出基于新型存储架构的机柜级存储底座和数据中心级存储底座,以存储架构创新打造先进存力,满足集约高效、一体化数据中心的建设要求。
2023年5月,浪潮信息发布为大模型专门优化的分布式全闪存储系列,为AI大模型数据归集、训练、数据归档与管理等阶段提供强大存储支撑能力,助力用户加速大模型系统的创新及应用落地。6月,浪潮信息重磅推出基于新一代分布式存储平台的AIGC存储解决方案,应对大模型应用对存储性能、容量以及数据管理等方面的苛刻要求。同时,尝试性提出GPU计算集群算力与存储集群聚合带宽的推荐配比,实现检测点数据60秒内写入和读取恢复,提高大模型训练效率。未来,浪潮信息存储将持续聚焦新型存储架构、新型存储介质加速技术等前沿研究,牵引共建AI存储场景共同体,推动前沿存储技术创新发展。(经济日报记者 黄鑫)
(责任编辑:张雪)