CANN LM Engine是基于CANN Kit的大模型推理解决方案,为大模型业务提供计算链路的加速封装和计算加速服务。
LLM Engine是其在大语言模型场景下的具体应用,提供的LLM计算链路封装包括多步骤高效串联、内存复用、数据零拷贝等功能,同时提供Lora拓展、多模态拓展,内存优化、kv Cache管理优化、投机推理、端云协同计算等其他功能,实现最佳的能效和系统资源的占用,提供工具链助力开发者完成模型量化、NPU亲和适配、模型转换等准备工作。

CANN LM Engine:CANN LM Engine为大模型业务提供基于计算加速服务和标准化API接口的端到端计算链路加速封装。
CANN工具链:提供模型转换、量化、Ascend C等工具链。
CANN硬件:基于NPU/GPU/CPU加速。