目录

原生操控

原生操控

Agent识别到特定意图后,可以根据应用是否在前台通过不同方式进行原生操控,实现应用自主进行瞬时操控并伴随对话体验。

[h2]场景一:目标应用不在前台

Agent识别到需要原生操控,且目标应用不在前台时,需要下发一个state为TASK_STATE_WORKING的中间帧,其中的message.parts[]包括data.jump和text,data.jump.overlayMode应设为capsule。小艺接收到后会根据data.jump中指定的方式跳转,并根据data.jump.overlayMode将小艺变为对应的onApp形态,同时text内容将在状态胶囊中展示。

这种情况下,胶囊只展示过程信息,不展示正文。但是若Agent下发了正文,点击胶囊将其展开为半屏态后仍然能展示。另外,手动将胶囊态展开成半屏态后无法再收缩。

{
     "jsonrpc":"2.0",
     "id":"req-001",
     "result":{
         "statusUpdate":{
             "taskId":"task-9e1b4d5f-0001",
             "contextId":"ctx-session-xyz",
             "status":{
                 "state":"TASK_STATE_WORKING",
                 "message":{
                     "role":"ROLE_AGENT",
                     "messageId":"msg-001",
                     "parts":[{
                             "data":{
                                 "jump":{
                                     "overlayMode":"capsule",
                                     "deepLink":{
                                         "url":"example://service",
                                         "appName":"示例应用",
                                         "appPackage":"com.example.app"
                                     }
                                 }
                             }
                         },{
                             "text":"正在打开页面",
                             "mediaType":"text/plain"
                         }
                     ]
                 },
                 "timestamp":"2026-03-24T10:00:01.000Z"
             }
         },
         "metadata":{
             "traceId":"trace-7f8a2b3c-0001",
             "agentId":"agent-example-001",
             "agentVersion":"1.2.0"
         }
     }
 }

[h2]场景二:目标应用在前台

目标应用在前台时,打开小艺以onApp发送query后,小艺会进入收音思考态。此时Agent会接收到小艺发送的query,若识别到是原生操控的意图,则Agent在发送TASK_STATE_SUBMITTED后,接着发送一个displayPanel指令,表示想要小艺呈现的形态,同时发送TASK_STATE_INPUT_REQUIRED帧,表示等待小艺的回复。小艺接收到后进行内部处理,处理结束后向Agent发送readyReceive指令,标识现在准备好接收后续的文本(stepInfo或正文)。Agent接收到后就可以正常发送文本。

规格

1. 以上原生操控流程基于目标应用在前台且小艺非全屏形态在前台。

2. 若为分屏状态,即目标应用和小艺都以全屏形态在前台,Agent回复displayPanel后,小艺直接回复readyReceive。

{
    "jsonrpc": "2.0",
    "id": "req-001",
    "result": {
        "statusUpdate": {
            "taskId": "task-9e1b4d5f-0001",
            "contextId": "ctx-session-xyz",
            "status": {
                "state": "TASK_STATE_WORKING",
                "message": {
                    "role": "ROLE_AGENT",
                    "messageId": "msg-001",
                    "parts": [{
                            "data": {
                                "displayPanel": {
                                    "panelStyle": "capsule"
                                }
                            }
                        }, {
                            "text": "正在打开页面",
                            "mediaType": "text/plain"
                        }
                    ]
                },
                "timestamp": "2026-03-24T10:00:01.000Z"
            }
        },
        "metadata": {
            "traceId": "trace-7f8a2b3c-0001",
            "agentId": "agent-example-001",
            "agentVersion": "1.2.0"
        }
    }
}