在数字经济的浪潮下,AI技术迎来井喷。以ChatGPT为代表的生成式大模型的快速发展给AI算力带来了巨大需求,人工智能技术已经从象牙塔走向人们的日常生活和工作。
在AI场景中,存储发挥着非常重要的作用。可以说,AI模型落地过程中,最顶尖的挑战就是数据。AI生成的数据如同天文数字般不断增长,带来了对算力需求的暴增。人工智能行业要实现快速发展,必须注重存储能力和计算能力的同时提升。比如除了存放训练和推理的数据之外,存储系统还要存放原始数据、标注数据、特征数据等很多类型的信息,以及交互中产生的数据集、模型参数快照和中间数据等,数据量十分庞大。此外,GPU计算资源非常珍贵,存储的快速部署和后期稳定运行会非常有助于GPU的
基于此,希捷科技打造了基于英伟达高速Infiniband网络的混闪存储方案,为不同规模的AI计算集群提供高性价比的标准化存储。此混合存储方案的存储单元采用了内置NVMe固态硬盘和希捷机械硬盘高速存储相互配合的混闪模式,既能提供超高的性能,也能提供更佳的性价比。该解决方案充分利用了IB网络低延迟、高带宽的优势,满足文件传输性能。采用NVMe固态硬盘提供小文件和元数据所需要的低延迟IOPS性能,同时采用机械硬盘提供大文件所需要的高带宽性能。并且应用了成熟、通用的文件系统,以达到整体方案的高可用性,并提供了增值功能。同时,该存储方案通过软硬件标准化和预集成方式,保证系统整体性能达到预期,也降低了部署和运维的难度。
值得一提的是,该解决方案于8月24日在2023年CCF全国高性能计算学术年会(CCFHPC China)亮相,帮助有高算力需求的客户解决海量数据难题。除此之外,在本届CCFHPC China大会上,希捷科技联合神州数码展示了一系列企业级数据存储解决方案,其中包括希捷银河ExosX 5U84系统、希捷银河ExosX20、X18大容量机械硬盘、HAMR热辅助磁记录、MACH.2双磁臂技术等,旨在更好地帮助企业用户进行高性能计算建设。
与希捷一同亮相的还有并行科技、苏州超集、烽火通信、奥工科技等行业合作伙伴,希捷携手行业伙伴一同致力于创新领域中的新技术、新模式,为AI和HPC行业客户打造海量超高密度存储,提供优质专业的数据存储解决方案。
希捷科技