近日,高通公司发布了一款名为Cloud AI 100 Ultra的云AI推理加速卡。这款产品专为生成式AI和大型语言模型设计,提供了相当于上一代产品四倍的性能。
Cloud AI 100 Ultra可以支持单张150W的卡部署100B参数模型,甚至在两张卡上部署175B参数。高通公司还表示,Cloud AI 100平台在最新基准测试结果的所有加速卡中均处于领先地位。
同时,高通公司也公布了Cloud AI 100 Ultra的具体价格和功率等方面的信息。这款产品的性能、定价、功率、效率、可扩展性和安全性结合在一起,在希望采用尖端AI并转变其运营的组织中被认为是一个理想选择,同时也支持可持续发展目标。
总结起来,这款新产品将带来更高效和便捷的AI计算体验,并且对于那些希望利用生成式AI技术的组织来说,具有重要意义。
本文属于原创文章,如若转载,请注明来源:高通发布Cloud AI 100 Ultra云推理卡,150W单卡可运行千亿参数大模型https://news.zol.com.cn/842/8422094.html