趋境科技与摩尔线程达成战略合作 国产PD异构方案进入生产环境

上海证券报·中国证券网 09-04 18:08

上证报中国证券网讯(记者窦世平)趋境科技9月3日与摩尔线程签署战略合作协议。双方将基于趋境科技自研国产PD异构技术,以及摩尔线程MTTS5000智算卡和MUSA软件平台,推进国产化高品质AI词元工厂建设,并共同研发、推广以Token Pod(Token超节点)为载体的联合解决方案。

据介绍,目前双方相关方案已投入生产,并承接头部模型厂商官方业务的真实词元流量。双方表示,在同等生产服务标准下,该方案兼顾国产算力生产级性能和单位AI词元成本优势,整体性价比超过国际先进算力方案,国产PD异构推理由测试验证进一步进入实际生产环境。

随着大模型应用进入规模化落地阶段,推理基础设施的竞争重点正从单卡性能向系统级词元生产效率延伸。此次联合方案采用Prefill与Decode分离的异构推理架构,由MTT S5000承担Prefill阶段输入计算和KV Cache生成,并与承担Decode阶段词元生成的高带宽GPU协同运行。

其中,MTT S5000具备高密度AI算力、原生FP8精度,并依托MUSA软件平台进行模型和软件生态适配;趋境科技则通过自研国产PD异构技术,完成模型优化和跨设备协同,将不同算力资源整合为端到端推理服务。据趋境科技披露,在当前项目同等生产服务标准下,由4至5台MTT S5000组成的Prefill资源池,输入词元处理性价比超过国际先进算力方案。

生产运行数据显示,在国产头部大模型复杂业务场景下,MTT S5000与趋境科技国产PD异构方案协同运行,平均词元生成速度超过50 TPS,KV Cache命中率超过90%,系统稳定性达到99.9%,并实现生产级低首词元时延保障。经过多轮性能迭代和专项优化,MTT S5000已由模型兼容、测试验证阶段进入高品质AI词元生产链路。

根据协议,双方下一步将共同推出基于Token Pod的软硬一体化词元生产解决方案。摩尔线程提供MTT S5000智算卡及MUSA软件平台,趋境科技则将硬件与国产PD异构推理系统、ATaaS平台及运营服务整合,形成覆盖基础设施、推理优化、平台管理和持续运营的专属推理集群。

趋境科技披露,截至今年8月,公司已完成日均万亿级高品质AI词元生产项目共建,并在多个项目中形成日均千亿级词元生产能力。未来,双方计划进一步拓展在互联网企业、前沿基础模型公司、运营商等领域的应用,推动国产PD异构推理方案向更多生产场景落地。

(文章来源:上海证券报·中国证券网)

文章来源:上海证券报·中国证券网
文章作者:窦世平
原标题:趋境科技与摩尔线程达成战略合作 国产PD异构方案进入生产环境
郑重声明:东方财富发布此内容旨在传播更多信息,与本站立场无关,不构成投资建议。据此操作,风险自担。
热点阅读
5年投资3.8万亿!工信部:有序部署万卡、十万卡及以上智算集群 适时启动6G商用
5年投资3.8万亿!工信部:有序部署万卡、十万卡及以上智算集群 适时启动6G商用
每日经济新闻 35评论
3家A股券商9月15日起停牌!中金公司重组获证监会批复
3家A股券商9月15日起停牌!中金公司重组获证监会批复
券商中国 14评论
华为小米折叠屏同日上新 起售价均超万元 苹果发布在即
华为小米折叠屏同日上新 起售价均超万元 苹果发布在即
上观新闻 10评论
特斯拉迎来历史最低价 Model 3减5000元、Model Y减1万元
特斯拉迎来历史最低价 Model 3减5000元、Model Y减1万元
国际金融报 5评论
打开东方财富APP查看更多内容
24小时点击排行
存量博弈下的科技修复,这一点一定要警惕!
操作丨双创大反弹,终止高开低走!硬科技大涨,回暖了吗?
摩尔线程解禁:是筹码切换,基本面不变
周末三大王炸齐发 4000点攻坚战打响
调整基本到位 中阳线或将出现
点击查看更多内容
写评论 ...