针对端侧推理场景的QoS感知推理加速和资源管理优化服务。通过动态按需加载推理模型资源、结合QoS等级进行调度优化,在保障用户体验不卡顿的前提下实现端侧高效推理,应对端侧设备内存资源受限、算力受限、对功耗敏感等挑战。从API version 20开始支持。
提交到格物会话中的端侧推理任务。异步执行,接口仅发起请求不直接返回结果,推理完成后通过用户注册的回调函数将结果返回。支持流式与非流式两种推理模式,可通过中止接口提前终止。
格物服务中管理推理资源和处理请求的基本单元。创建时指定模型路径等属性,采用异步方式加载资源,会话生命周期从创建成功到调用销毁接口为止。会话内可提交多个推理请求。
HarmonyOS为开发者提供的内核增强能力开发套件,包含QoS调度、Purgeable Memory管理和格物(Gewu)端侧推理服务三大能力,用于优化应用的性能、资源管理和用户体验。
一种可随时丢弃的内存管理机制,用于存放容易通过重新计算构建的数据。在系统内存压力较大时,优先以drop方式(而非压缩)直接回收这类匿名页内存;用户再次访问时需通过重建函数自行恢复数据内容。适用于管理大块(至少4KiB)且恢复代价较小的数据。