目录

性能测试

1 范围

背景及目的

本标准规定了HarmonyOS应用的基础性能质量和体验要求。本标准适用于HarmonyOS应用软件的设计、开发及测试。

适用范围/测试范围

本标准适用于运行于HarmonyOS的各类应用的性能衡量与判断。应用类型涉及:便捷生活、出行导航、购物比价、拍摄美化、社交通讯、实用工具、新闻阅读、学习办公、影音娱乐、游戏、主题个性、金融理财、医疗健康等。

对于以上各个类型的应用,各界面功能应当满足标准要求,对于落地执行,标准涉及的核心场景需率先满足。各类应用核心场景定义如下:

  1. 便捷生活类:进入应用主功能界面
  2. 出行导航类: 进入位置搜索页面
  3. 购物比价类: 进入购物首页,页面含商品列表、搜索栏等。
  4. 拍摄美化: 进入应用主功能界面
  5. 社交通讯类:登陆后进入主界面收/发消息 或:登陆后进入主界面
  6. 实用工具: 邮箱类:启动应用 – 登陆邮箱 – 收取邮件(邮箱内已有邮件列表超过10封)
  7. 新闻阅读类:启动应用 – 进入首页 – 刷新新闻列表 –滑动新闻列表
  8. 学习办公: 进入应用主功能界面
  9. 影音娱乐: 进入应用主功能界面
  10. 游戏: 进入应用主功能界面

测试标准维度包含:启动时延类、滑动帧率类,资源占用类,分布式典型操作类。

2 规范性引用文件

无

3 术语、定义和缩略语

[h2]3.1 术语、定义

3.1.1 泛智能终端

泛智能终端是指能连入互联网、智能化、自动化的设备,因此可以认为泛智能终端其中一种类型便是移动智能终端。移动智能终端拥有接入互联网能力,通常搭载各种操作系统,可根据用户需求定制化各种功能。生活中常见的智能终端包括移动智能终端(手机、折叠屏手机、平板)、二合一平板电脑(2in1)、车载智能终端、智慧屏、可穿戴设备等。

3.1.2 元服务

元服务是HarmonyOS提供的一种面向未来的服务提供方式,是有独立入口的(用户可通过点击方式直接触发)、用户免安装的(无需显式安装,由系统程序框架后台安装后即可使用)应用程序形态。

3.1.3 应用

应用泛指运行在HarmonyOS的操作系统之上,为用户提供特定服务的程序。通常包括两种形态:传统方式需要安装的应用和元服务。在本文档中,如无特殊说明,“应用”所指代的对象包括上述两种形态。

3.1.4 冷启动完成时延

应用首次启动时间,即点击触发启动开始到应用启动加载完成的时间。

3.1.5 热启动完成时延

应用非首次启动时间,即打开应用,将应用置于后台后再次启动完成的时间。

3.1.6 启动响应时延

启动响应时延是从触发应用启动开始,到应用打开动效的首帧之间的时间。

3.1.7 帧率( Frame Per Second,简称FPS)

FPS指应用每秒渲染的帧数。

3.1.8 分布式

分布式是HarmonyOS提供的跨设备操作能力,能够打破传统单设备界限,实现多设备相互感知和联动。应用可以跨设备流转,如当使用场景发生变化时,用户可以选择新的设备来继续当前的任务;多个设备上的应用同时或交替运行实现完整的业务。

[h2]3.2 缩略语

无

4 性能测试标准

[h2]4.1 应用启动时间

4.1.1 冷启动完成时延

标准编号

4.1.1

冷启动完成时延

标准描述

测量点击应用图标到打开应用的冷启动完成时延(毫秒)

预置条件

a. 被测应用在测试之前从未创建过进程

b. 测量从点击图标到界面全部显示的时间

测试用例

起点:点击应用图标

终点:应用主界面显示加载完成

判定标准

各类应用(不含游戏类)的冷启动时间t应

优秀:t ≤ 1200毫秒;

良好:t ≤ 1600毫秒;

游戏类应用冷启动时间≤ 3000毫秒

界面加载过程中白屏/黑屏停留时间t2

优秀:t2≤ 100毫秒;

良好:t2≤ 150毫秒;

需考虑的特殊事项

  

4.1.2 热启动完成时延

标准编号

4.1.2

热启动完成时延

标准描述

测量点击应用图标到打开应用的热启动完成时延(毫秒)

预置条件

被测应用之前已经被打开过,无关闭应用行为,测试时被重新切换到前台

测试用例

起点:点击应用图标

终点:应用主界面显示完成

判定标准

各类应用(不含游戏类)的热启动时间应≤ 800毫秒;

游戏类应用热启动时间≤ 1000毫秒;

界面加载过程中白屏/黑屏停留时间≤ 100毫秒

需考虑的特殊事项

无

4.1.3 启动响应时延

标准编号

4.1.3

启动响应时延

标准描述

测量从点击应用图标启动应用到开始显示界面开始变化的第一帧之间的耗时(毫秒)

预置条件

被测应用在测试之前从未创建过进程

测试用例

起点:点击应用图标

终点:启动窗口显示界面开始变化的第一帧显示

判定标准

点击应用图标,启动相应时延t

优秀:t ≤ 85毫秒(触屏),t ≤ 100毫秒(键鼠)

良好:t ≤ 150毫秒(触屏),t ≤ 150毫秒(键鼠)

需考虑的特殊事项

  

4.1.4 应用内点击操作响应时延

标准编号

4.1.4

应用内点击操作响应时延

标准描述

测量从应用内点击操作开始到应用界面开始变化的第一帧的耗时(毫秒)

预置条件

应用已启动

测试用例

起点:应用内点击

终点:应用界面开始变化的第一帧

判定标准

应用内点击操作响应时延t

优秀:t ≤ 85毫秒(触屏),t ≤ 100毫秒(键鼠)

良好:t ≤ 150毫秒(触屏),t ≤ 150毫秒(键鼠)

需考虑的特殊事项

  

4.1.5 应用内点击操作完成时延

标准编号

4.1.5

应用内点击操作完成时延

标准描述

测量从应用内点击操作开始到应用界面切换加载完成的耗时时延(毫秒)

预置条件

应用已启动

测试用例

起点:应用内点击

终点:应用界面切换加载完成

判定标准

应用内点击操作完成时延t

优秀:t ≤ 1200毫秒;

良好:t ≤ 1600毫秒;

需考虑的特殊事项

  

4.1.6 应用内滑动响应时延

标准编号

4.1.6

应用内的滑动操作响应时延

标准描述

测量应用内的滑动操作响应时延(毫秒)

预置条件

应用已启动

测试用例

遍历应用内可滑动操作的页面,滑动响应时延满足要求:

起点:滑动开始

结束:应用界面开始变化显示的首帧

判定标准

应用内滑动操作响应时延

优秀:t ≤ 50毫秒(触屏),t ≤ 50毫秒(滚轮、触控板、手写笔)

良好:t ≤ 100毫秒(触屏),t ≤ 150毫秒(滚轮、触控板、手写笔)

需考虑的特殊事项

  

[h2]4.2 界面帧率

4.2.1 界面帧率

标准编号

4.2.1

界面帧率

标准描述

测量应用启动过程、滑动使用过程的屏幕界面帧率(FPS)

预置条件

启动过程测试冷启动过程

测试用例

1、冷启动应用,统计启动过程帧率

2、开展界面滑动(正常使用滑动速度)保持屏幕刷新,统计每秒渲染的帧数(FPS)

判定标准

应用启动过程、界面滑动过程帧率(FPS)应满足:

a. 普通应用的帧率应

优秀:fps = 100%*满帧(如满帧60FPS应满足= 60FPS)

良好:fps ≥ 95.5%*满帧(如满帧60FPS应满足≥ 57FPS)

b. 游戏类、地图类和视频类的帧率应

优秀:fps = 30FPS

良好:fps ≥ 27FPS

需考虑的特殊事项

  

4.2.2 界面连续丢帧数

标准编号

4.2.2

界面连续丢帧数

标准描述

测量应用启动过程、使用过程的屏幕界面连续丢帧卡顿(帧间隔)时长次数

预置条件

启动过程测试冷启动过程;测试页面切换、滑动过程至少持续3分钟

测试用例

1、冷启动应用,统计启动过程连续丢帧时长次数

2、开展页面切换、界面滑动(正常使用滑动速度)或刷新,统计连续丢帧时长次数

判定标准

页面切换/启动退出过程,连续丢帧(帧间隔):优秀:超过50ms出现次数为0次

良好:超过50ms出现次数≤1次

应用使用过程,页面滑动连续丢帧(帧间隔):

优秀:卡顿100ms出现次数为0次

零号:卡顿100ms出现次数 ≤1次

需考虑的特殊事项

  

[h2]4.3 内存占用

4.3.1 后台且亮屏内存占用

标准编号

4.3.2

后台且亮屏内存占用

标准描述

测量应用在后台且亮屏一段时间时的内存占用

预置条件

被测应用切换到后台5分钟后亮屏状态下测量内存消耗

测试用例

被测应用切换到后台5分钟后亮屏状态下测量应用进程内存消耗

判定标准

各类应用在后台且亮屏5分钟的内存占用应≤ 400MB

需考虑的特殊事项

  

[h2]4.4 CPU占用

4.4.1 后台且亮屏CPU占用

标准编号

4.4.1

后台且亮屏CPU占用

标准描述

测量应用在后台且亮屏一段时间时的CPU占用

预置条件

被测应用切换到后台,等待5分钟稳定后,检测被测应用5分钟内CPU userTime+systemTime

测试用例

被测业务切换到后台,等待5分钟稳定后,检测被测业务5分钟内CPU 瞬时负载占比

判定标准

各类应用在后台且亮屏5分钟的CPU占用应≤ 2%

需考虑的特殊事项

  

4.4.2 后台且灭屏CPU占用

标准编号

4.4.2

后台且灭屏CPU占用

标准描述

测量应用在后台且灭屏一段时间时的CPU占用

预置条件

被测应用切换到后台,灭屏后等待5分钟稳定,检测被测应用5分钟内CPU userTime+systemTime

测试用例

被测应用切换到后台,等待5分钟稳定后,检测被测应用5分钟内CPU 瞬时负载占比

判定标准

各类应用在后台且灭屏5分钟的CPU占用应≤ 2%

需考虑的特殊事项

  

[h2]4.5 线程数占用

4.5.1 线程数占用

标准编号

4.5.1

线程数占用

标准描述

测量应用前台线程数占用

预置条件

启动应用到前台静置30秒

测试用例

1、启动应用到前台静置30秒

2、开始测量应用的线程数占用

判定标准

被测应用线程数占用 ≤ 32

需考虑的特殊事项

  

[h2]4.6 分布式性能

4.6.1 跨设备流转

标准编号

4.6.1

设备流转

标准描述

测量应用切换到远端设备耗时

预置条件

网络信号强度在-50db左右

以及被测应用已连接远端设备,非首次条件

测试用例

1、已经连接应用所支持的分布式设备。例如:音乐

2、开始录屏

3、点击切换到远端设备,流转完成。例如:音乐在远端设备开始正常播放

4、分析步骤3占用的视频帧数,计算时间延迟

起点:点击切换入口。例如:音乐

终点:流转完成的第一帧。例如:音乐在远端设备开始正常播放

判定标准

被测应用切换远端设备时延≤3000毫秒

需考虑的特殊事项

业务涉及时必测,不涉及不测试

5. 修订记录

日期

修订内容

2023年3月

第一次发布

2023年10月

修改刷新