Agent识别到需要原生操控,且目标应用不在前台时,需要下发一个state为TASK_STATE_WORKING的中间帧,其中的message.parts[]包括data.jump和text,data.jump.overlayMode应设为capsule。小艺接收到后会根据data.jump中指定的方式跳转,并根据data.jump.overlayMode将小艺变为对应的onApp形态,同时text内容将在状态胶囊中展示。
这种情况下,胶囊只展示过程信息,不展示正文。但是若Agent下发了正文,点击胶囊将其展开为半屏态后仍然能展示。另外,手动将胶囊态展开成半屏态后无法再收缩。
{
"jsonrpc":"2.0",
"id":"req-001",
"result":{
"statusUpdate":{
"taskId":"task-9e1b4d5f-0001",
"contextId":"ctx-session-xyz",
"status":{
"state":"TASK_STATE_WORKING",
"message":{
"role":"ROLE_AGENT",
"messageId":"msg-001",
"parts":[{
"data":{
"jump":{
"overlayMode":"capsule",
"deepLink":{
"url":"example://service",
"appName":"示例应用",
"appPackage":"com.example.app"
}
}
}
},{
"text":"正在打开页面",
"mediaType":"text/plain"
}
]
},
"timestamp":"2026-03-24T10:00:01.000Z"
}
},
"metadata":{
"traceId":"trace-7f8a2b3c-0001",
"agentId":"agent-example-001",
"agentVersion":"1.2.0"
}
}
} 目标应用在前台时,打开小艺以onApp发送query后,小艺会进入收音思考态。此时Agent会接收到小艺发送的query,若识别到是原生操控的意图,则Agent在发送TASK_STATE_SUBMITTED后,接着发送一个displayPanel指令,表示想要小艺呈现的形态,同时发送TASK_STATE_INPUT_REQUIRED帧,表示等待小艺的回复。小艺接收到后进行内部处理,处理结束后向Agent发送readyReceive指令,标识现在准备好接收后续的文本(stepInfo或正文)。Agent接收到后就可以正常发送文本。

规格
1. 以上原生操控流程基于目标应用在前台且小艺非全屏形态在前台。
2. 若为分屏状态,即目标应用和小艺都以全屏形态在前台,Agent回复displayPanel后,小艺直接回复readyReceive。
{
"jsonrpc": "2.0",
"id": "req-001",
"result": {
"statusUpdate": {
"taskId": "task-9e1b4d5f-0001",
"contextId": "ctx-session-xyz",
"status": {
"state": "TASK_STATE_WORKING",
"message": {
"role": "ROLE_AGENT",
"messageId": "msg-001",
"parts": [{
"data": {
"displayPanel": {
"panelStyle": "capsule"
}
}
}, {
"text": "正在打开页面",
"mediaType": "text/plain"
}
]
},
"timestamp": "2026-03-24T10:00:01.000Z"
}
},
"metadata": {
"traceId": "trace-7f8a2b3c-0001",
"agentId": "agent-example-001",
"agentVersion": "1.2.0"
}
}
}