上证报中国证券网讯(记者窦世平)趋境科技9月3日与摩尔线程签署战略合作协议。双方将基于趋境科技自研国产PD异构技术,以及摩尔线程MTTS5000智算卡和MUSA软件平台,推进国产化高品质AI词元工厂建设,并共同研发、推广以Token Pod(Token超节点)为载体的联合解决方案。
据介绍,目前双方相关方案已投入生产,并承接头部模型厂商官方业务的真实词元流量。双方表示,在同等生产服务标准下,该方案兼顾国产算力生产级性能和单位AI词元成本优势,整体性价比超过国际先进算力方案,国产PD异构推理由测试验证进一步进入实际生产环境。
随着大模型应用进入规模化落地阶段,推理基础设施的竞争重点正从单卡性能向系统级词元生产效率延伸。此次联合方案采用Prefill与Decode分离的异构推理架构,由MTT S5000承担Prefill阶段输入计算和KV Cache生成,并与承担Decode阶段词元生成的高带宽GPU协同运行。
其中,MTT S5000具备高密度AI算力、原生FP8精度,并依托MUSA软件平台进行模型和软件生态适配;趋境科技则通过自研国产PD异构技术,完成模型优化和跨设备协同,将不同算力资源整合为端到端推理服务。据趋境科技披露,在当前项目同等生产服务标准下,由4至5台MTT S5000组成的Prefill资源池,输入词元处理性价比超过国际先进算力方案。
生产运行数据显示,在国产头部大模型复杂业务场景下,MTT S5000与趋境科技国产PD异构方案协同运行,平均词元生成速度超过50 TPS,KV Cache命中率超过90%,系统稳定性达到99.9%,并实现生产级低首词元时延保障。经过多轮性能迭代和专项优化,MTT S5000已由模型兼容、测试验证阶段进入高品质AI词元生产链路。
根据协议,双方下一步将共同推出基于Token Pod的软硬一体化词元生产解决方案。摩尔线程提供MTT S5000智算卡及MUSA软件平台,趋境科技则将硬件与国产PD异构推理系统、ATaaS平台及运营服务整合,形成覆盖基础设施、推理优化、平台管理和持续运营的专属推理集群。
趋境科技披露,截至今年8月,公司已完成日均万亿级高品质AI词元生产项目共建,并在多个项目中形成日均千亿级词元生产能力。未来,双方计划进一步拓展在互联网企业、前沿基础模型公司、运营商等领域的应用,推动国产PD异构推理方案向更多生产场景落地。
(文章来源:上海证券报·中国证券网)
