目录

术语

G

[h2]Gewu;格物

针对端侧推理场景的QoS感知推理加速和资源管理优化服务。通过动态按需加载推理模型资源、结合QoS等级进行调度优化,在保障用户体验不卡顿的前提下实现端侧高效推理,应对端侧设备内存资源受限、算力受限、对功耗敏感等挑战。从API version 20开始支持。

[h2]Gewu Request;格物请求

提交到格物会话中的端侧推理任务。异步执行,接口仅发起请求不直接返回结果,推理完成后通过用户注册的回调函数将结果返回。支持流式与非流式两种推理模式,可通过中止接口提前终止。

[h2]Gewu Session;格物会话

格物服务中管理推理资源和处理请求的基本单元。创建时指定模型路径等属性,采用异步方式加载资源,会话生命周期从创建成功到调用销毁接口为止。会话内可提交多个推理请求。

K

[h2]Kernel Enhance Kit;内核增强能力套件

HarmonyOS为开发者提供的内核增强能力开发套件,包含QoS调度、Purgeable Memory管理和格物(Gewu)端侧推理服务三大能力,用于优化应用的性能、资源管理和用户体验。

P

[h2]Purgeable Memory;可丢弃内存

一种可随时丢弃的内存管理机制,用于存放容易通过重新计算构建的数据。在系统内存压力较大时,优先以drop方式(而非压缩)直接回收这类匿名页内存;用户再次访问时需通过重建函数自行恢复数据内容。适用于管理大块(至少4KiB)且恢复代价较小的数据。

Q

[h2]QoS (Quality of Service);服务质量

HarmonyOS中任务的优先调度属性。开发者按任务与用户交互的关联程度对其进行分类,系统据此安排各任务的CPU时间分配和调度次序,以优化应用响应速度和资源利用率。

S

[h2]Streaming Inference;流式推理

格物服务支持的推理模式之一。开启后推理结果分多次通过回调逐步返回(每次返回部分内容,仅最后一次携带非空的停止原因),适用于需要实时展示生成过程的场景。关闭时为非流式推理,一次性返回完整结果。