热点:

    京东云AI算力平台,助力企业快速构建大模型算力底座

      [  品牌资讯   ]  

    随着海外AI算力供应链不确定性增加,面对强势的大模型训练推理需求,国产AI芯片迎来发展新机遇。而80%的算力需求正在向推理场景集中,由于推理场景对GPU峰值性能的要求相对放低,更多规格国产GPU已具备支持大模型应用的能力,推动海外AI芯片与国产芯片混合部署成为企业AI算力新常态。

    然而,混合AI算力的构建面临诸多挑战,包括算力利用率低下、异构资源管理困难、国产化替代进程加速等现实问题,正成为制约大模型规模化落地的核心瓶颈。京东云vGPUAI算力平台,以创新性的GPU算力池化技术和异构算力统一管理,助力企业快速构建异构AI算力基础设施,重塑AI生产力。

    一、大模型落地面临三重算力困局

    当前,众多智算中心面临一个严峻的现实,购买了昂贵的GPU卡,但集群MFU(模型算力利用率)却很低。某头部证券公司AI负责人坦言:“我们的数百张GPU卡,实际利用率不足30%,但业务部门仍在不断要求扩容。”

    行业普遍面临三大核心痛点。首先是GPU资源空转闲置:传统物理卡部署模式下,推理任务往往占用不到30%的算力,却需独占整张显卡。其次是异构资源管理困难:同时存在英伟达、昇腾等多类加速卡,不同芯片需要独立运维体系,资源池化率不足50%。第三是安全与性能难以兼得:部分机构采用开源vGPU方案,但用户态算力池化带来性能损耗高,且存在任务干扰风险。

    二、京东云vGPU算力池化,破解AI算力困局

    面对这些行业难题,京东云推出vGPUAI算力平台,支持算力资源统一纳管、精细化运维,具备内核级1%算力和MB级显存的细粒度切分与池化能力,损耗控制在0.1%,毫秒级任务优先级抢占,丝滑支持训推混部,并且全面适配十余家国产化算力资源,帮助客户低成本、高效率使用大模型。

    第一,内核级精准算力切分:凭借创新的GPU算力切分技术,内核级1%算力和MB级显存的细粒度切分与池化能力,犹如"手术刀"般将单卡分割为多个虚拟实例,实现了资源的动态分配,GPU利用率最高提升70%。

    第二,异构算力统一纳管:提供对多元异构算力资源的统一管理,有效屏蔽异构算力复杂性,并兼容国内外主流深度学习AI框架,帮助客户快速构建面向大模型的训推一体化高性能基础设施,降低运维复杂度。

    第三,全栈自研算力平台:京东云全自研vGPU技术,通过内核态拦截和推理引擎加速构建产品核心竞争力,内核驱动级优化提升单台服务器推理性能50%,同时借助AI全密态机密容器能力,确保模型参数与训练数据双域零泄露,为用户提供金融级安全防护。

    三、服务数十家头部客户构建异构AI算力基座

    当前,京东云vGPUAI算力平台凭借内核级算力池化、全栈自研可控、金融级安全等差异化优势,已服务数十家头部银行、券商、基金、保险、运营商客户。

    华夏基金积极拥抱AI技术,在GPU资源管理方面,华夏基金面临提升资源利用率和降低运行成本的双重挑战。通过采用京东云的vGPU算力池化技术,华夏基金将物理GPU资源进行了细粒度的切分,实现了资源的动态分配和优化利用。这一技术的应用,使得华夏基金的GPU利用率最高提升了70%,大幅降低大模型推理成本。

    北京银行与京东云携手,上线银行业首个基于异构计算的DeepSeek满血版。依托京东云异构计算能力,北京银行创新性地采用vGPU弹性资源分配方案,实现了算力资源的高效复用与灵活调度,算力模式秒级供给,内核级1%算力和MB级显存的细粒度切分与池化能力,并全面适配国产算力资源。

    某知名证券公司原有集群GPU资源分散,整体利用率长期徘徊在25%。部署京东云vGPUAI算力平台后,将分散在5个业务系统的GPU资源池化,形成统一AI算力池,AI算力分时复用实现多团队共享,推理任务资源满足率从65%提升至98%。

    面向未来,京东云将持续投入技术自研,提供更高性能、更低成本的智算产品,助力企业快速构建落地大模型的算力基座,重塑AI生产力。

    京东云AI算力平台,助力企业快速构建大模型算力底座

    news.zol.com.cn true https://news.zol.com.cn/977/9775915.html report 2989 随着海外AI算力供应链不确定性增加,面对强势的大模型训练推理需求,国产AI芯片迎来发展新机遇。而80%的算力需求正在向推理场景集中,由于推理场景对GPU峰值性能的要求相对放低,更多规格国产GPU已具备支持大模型应用的能力,推动海外AI芯片与国产芯片混合部署成为企业A...
    • 猜你喜欢
    • 最新
    • 精选
    • 相关
    推荐问答
    提问
    0

    下载ZOL APP
    秒看最新热品

    内容纠错