首页 > 科技 >正文

重磅!PerfXLM+推理框架支持DeepSeek全系列模型!

2025-02-07 09:28:59 来源:- 作者:-

澎峰科技最新消息,公司自主研发的PerfXLM+推理框架已基于海光DCU,完成对DeepSeek全系列模型的深度适配与优化,AI大模型应用效能大幅提升。

PerfXLM+推理框架通过底层架构优化,全面适配海光DCU算力平台,为DeepSeek模型提供了高性能支持。针对DeepSeek-R1-Distill系列等模型,框架结合海光DCU的并行计算能力,可显著降低资源消耗,在同等硬件条件下进一步提高了推理效率。

另外,海光DCU作为关键“媒介”,采用兼容度最高的GPGPU通用加速计算架构,可支撑DeepSeek模型直接运行,大幅减少底层适配工作量,技术团队仅需聚焦模型精度验证与持续性能优化,即可实现高效部署。

PerfXLM+推理框架目前已覆盖自然语言处理、多模态理解等核心场景,客户可基于海光DCU集群实现模型快速迭代与弹性扩展,满足各行各业的实时推理需求。

并且,PerfXLM+推理框架通过模型量化、算子融合等核心技术,正在进一步挖掘海光DCU的异构计算潜力,为企业提供更高质量、低成本的AI推理服务。

随着“框架+硬件+模型”的全栈能力构建完毕,国产厂商或将加速打破企业AI部署门槛。

图片1.png

责任编辑:小菲