目录

AVScreenCapture录屏获取到的视频数据无法正常显示

问题现象

使用AVScreenCapture模块进行屏幕录制,在录屏结束获取完数据之后视频数据无法正常显示。核心代码如下:

OH_VideoCaptureInfo videocapinfo = {
  .videoFrameWidth = 720, 
  .videoFrameHeight = 1280,
  .videoSource = OH_VIDEO_SOURCE_SURFACE_RGBA
};

问题显示如下:

背景知识

问题定位

  1. debug发现OH_AVBuffer_GetAddr(buffer)里面实际有录屏的数据,并且日志里面也没有报错信息。这说明录屏过程并没有问题,可能是录屏数据在编解码/渲染显示的过程中出现了异常。
  2. 排查代码时发现,代码里通过OH_VideoCodecFormat指定了视频编码格式为OH_H265,而录屏的帧宽高为720x1280,帧宽度并不是64的整数倍,不符合H.265的分辨率大小要求。

分析结论

采用H.265格式给视频编码时,算法会将帧画面划分为64x64大小的块,后续帧内/帧间预测时的残差块的大小也与之相同。而录屏时设定的帧宽度并非64的整数倍,因此使得视频画面在编解码过程中产生画面异常。

修改建议

将视频的宽度和高度设置为64的倍数,例如768*1280,以此来适应视频编码的标准。

完整示例代码可以参考AVScreenCapture录屏完整示例。

常见FAQ

Q:使用AVScreenCapture录屏取码流,出现Native层数据持续增长,调用释放资源的接口,应在什么时机进行资源释放?

A:可以在内录和外录代码处释放buffer。

Q:使用AVScreenCapture录屏取码流过程中,在屏幕旋转的情况下如何动态调整编码器宽高?

A:编码器不支持动态设置宽高,需要先停止再重新进行配置。但是在屏幕旋转过程中,编码器适配屏幕宽高的场景,可以采用如下方式处理:录制开始时是1920×1080的,录制过程中屏幕旋转切换成1080×1920,最开始可以创建一个1920×1920的编码器,这样就不用过程中动态修改编码器宽高。

Q:想通过OH_AVScreenCapture_SetStateCallback()方法来设置状态变更处理函数,但是不知道各个状态切换的时机。

A:通过OH_AVScreenCapture_SetStateCallback()设置回调成功后,在启动录屏时将通过隐私弹窗方式征求用户同意。之后在录屏过程中,每当OH_AVScreenCapture实例状态发生改变即会调用该回调函数。OH_AVScreenCapture实例状态含义及触发时机见下表:

状态

含义

触发时机

OH_SCREEN_CAPTURE_STATE_CANCELED

已取消录屏

用户拒绝录屏隐私弹窗时

OH_SCREEN_CAPTURE_STATE_STOPPED_BY_USER

已停止录屏

用户手动点击结束时

OH_SCREEN_CAPTURE_STATE_MIC_UNAVAILABLE

麦克风不可用

麦克风不可用导致启动录屏失败时

OH_SCREEN_CAPTURE_STATE_STARTED

已开始录屏

启动录屏成功后

OH_SCREEN_CAPTURE_STATE_INTERRUPTED_BY_OTHER

录屏被其他录屏中断

录屏被其他录屏中断时

OH_SCREEN_CAPTURE_STATE_STOPPED_BY_CALL

录屏被通话中断

录屏被通话中断时

OH_SCREEN_CAPTURE_STATE_MIC_MUTED_BY_USER

麦克风被静音

麦克风被静音时

OH_SCREEN_CAPTURE_STATE_MIC_UNMUTED_BY_USER

麦克风被取消静音

麦克风被取消静音时

OH_SCREEN_CAPTURE_STATE_ENTER_PRIVATE_SCENE

进入隐私弹窗

进入隐私弹窗时

OH_SCREEN_CAPTURE_STATE_EXIT_PRIVATE_SCENE

隐私弹窗退出

隐私弹窗退出时

OH_SCREEN_CAPTURE_STATE_STOPPED_BY_USER_SWITCHES

系统用户切换,录屏中断

系统用户切换时

Q:使用OH_ORIGINAL_STREAM方式录制屏幕,屏幕正常录制,但OnBufferAvailable回调的数据写到Muxer中封装为MP4格式,文件无法正常播放。

A:检查发现代码录制屏幕数据能够直接播放,且使用中AVMuxer对已编码数据封装正常,确定录制和封装两边单独的功能都没有问题。后查看代码发现流程直接将OH_ORIGINAL_STREAM方式录制屏幕的未编码直接放入AVMuxer进行封装。

方案一:修改OH_AVScreenCaptureConfig参数,将dataType配置为OH_CAPTURE_FILE模式,直接MP4文件,详细流程可参考使用AVScreenCapture录屏写文件。

方案二:OH_AVScreenCaptureConfig的参数dataType依旧为OH_ORIGINAL_STREAM模式,此时流程结束后返回的buffer为原始码流,需要编码后才能放入Muxer中进行封装。编码可参考视频编码。