目录

关于从视频中提取特定帧图片的常见方法及问题

问题现象

在获取视频特定帧图片时,有以下三种不同的场景:

同时,在这三种常见获取视频的场景里,也会遇到一些可能发生的问题:

背景知识

获取视频特定帧根据场景需求可以使用不同的方法实现:

获取方式

使用场景

目标场景

AVImageGenerator.fetchFrameByTime

视频编辑、逐帧分析、自定义时间点截图

动态解码视频帧生成缩略图(支持任意时间点帧提取)

AVImageGenerator.fetchFrameByTime

获取网络视频任意时间视频帧,可用于视频播放预览

动态解码视频帧生成缩略图(支持获取网络视频任意时间视频帧)

PhotoAsset.getThumbnail

相册浏览、快速预览

直接获取相册中图片/视频的预生成缩略图

解决方案

[h2]方案一:访问本地视频(沙箱内),获取视频特定帧图片

[h2]方案二:下载网络视频到沙箱,然后获取视频特定帧图片

[h2]方案三:通过网络视频Url,直接获取视频特定帧图片

在6.0之后,可以通过AVMetadataExtractor.fetchFrameByTime接口,直接获取网络视频特定时间的视频帧。
  • 实现步骤:
    1. 通过createAVMetadataExtractor接口,创建AVMetadataExtractor。
    2. 通过setUrlSource接口,设置网络视频Url。
    3. 通过fetchFrameByTime接口,获取网络视频特定帧的速率图。
  • 具体代码:
    import { media } from '@kit.MediaKit';
    import image from '@ohos.multimedia.image';
    
    const VIDEO_URL = 'xxxx'; // 网络视频url
    
    @Entry
    @Component
    struct AVMetadataExtractorDemo {
      @State pixelMap?: image.PixelMap = undefined; // 用于显示缩略图
    
      /**
       * 获取网络视频指定时间的缩略图(仅支持http/https,不支持hls/dash)
       * @param url 网络视频Url
       * @param timeUs 指定需要获取视频帧的时间
       */
      async fetchFrameByTime(url: string, timeUs: number) {
        let oldPixelMap: image.PixelMap | undefined;
        let avMetadataExtractor: media.AVMetadataExtractor | undefined = undefined;
        try {
          // 创建AVMetadataExtractor
          avMetadataExtractor = await media.createAVMetadataExtractor();
          // 设置网络视频url
          avMetadataExtractor.setUrlSource(url);
          // 获取指定时间视频帧
          let param: media.PixelMapParams = { width: 300, height: 300 };
          let queryOptions: media.AVImageQueryOptions = media.AVImageQueryOptions.AV_IMAGE_QUERY_PREVIOUS_SYNC;
          let newPixelMap = await avMetadataExtractor.fetchFrameByTime(timeUs, queryOptions, param);
          // 显示图片
          oldPixelMap = this.pixelMap;
          this.pixelMap = newPixelMap;
        } catch (error) {
          let err = error as BusinessError;
          console.error(`Failed to fetchFrameByTime: Cause: ${err.code}, ${err.message}`);
        } finally {
          if (avMetadataExtractor) {
            await avMetadataExtractor.release();
          }
          if (oldPixelMap) {
            await oldPixelMap.release();
          }
        }
      }
    
      build() {
        Column() {
          Button() {
            Text('select').fontSize(20).fontWeight(FontWeight.Bold).fontColor(Color.White);
          }
          .width(100)
          .height(40)
          .margin({ top: 20 })
          .onClick(() => {
            const timeUs = 0;
            this.fetchFrameByTime(VIDEO_URL, timeUs);
          });
    
          Image(this.pixelMap).width(300).height(300).margin({ top: 20 });
        }
        .width('100%')
        .height('100%')
        .justifyContent(FlexAlign.Center)
        .alignItems(HorizontalAlign.Center);
      }
    }

[h2]方案四:访问手机系统相册,获取视频特定帧图片

常见FAQ

Q:提取的特定帧图像分辨率显著低于源视频实际分辨率,产生模糊现象。

A:PixelMapParams的格式参数设置错误,导致获取到的首帧图像的分辨率与实际的图像分辨率不同,从而导致首帧图像的模糊。需将特定帧图像的分辨率与实际的图像分辨率设置相同(或比例增大),确保PixelMapParams与视频的实际帧率和分辨率匹配。

核心代码如下:
// 以下为视频的原始分辨率
let param: media.PixelMapParams = {
  width:1280,
  height:720
}

输出结果:

Q:为什么相册选择视频后,获取到视频缩略图并转成PixelMap,封装成对象msg:{thumbnail: pixelMap},传到另一个组件@Prop msg无法展示?

A:@Prop不支持PixelMap类型,具体可参考@Prop组件的限制条件。

Q:为什么getThumbnail获取到的PixelMap,用JSON.stringify打印出来是空对象?

A:PixelMap对象不是标准的JS对象,而是HarmonyOS提供的图像对象,所以无法使用JSON.stringify打印,可以通过Image组件验证是否可以正确显示图片。

Q:获取缩略图的PixelMap后,将PixelMap转为图片路径时,会报PackedSize outside size想问一下怎么设置这个参数。

A:bufferSize是默认为25M,可以使用packToFile()将PixelMap编码后直接打包进文件,使用packToFile不受bufferSize参数影响,这个报错可能是由于PixelMap超过图片格式分辨率导致打成文件失败,过大的PixelMap建议修改PixelMap大小并且修改格式为png或分辨率更大的格式,但还是建议内存空间(bufferSize参数)的设置要大于图片大小。

Q:为什么使用AVImageGenerator获取视频帧图像出现不同时间点获取的图像是相同的,想获取时间点的图像没有获取到,获取的图像均存在连续多张相同情况?

A:获取方式为AV_IMAGE_QUERY_NEXT_SYNC、AV_IMAGE_QUERY_PREVIOUS_SYNC、AV_IMAGE_QUERY_CLOSEST_SYNC时都是选取传入时间点附近的关键帧返回,如果传入时间点对应的视频帧不是关键帧,会根据获取方式的不同选择传入时间点之前、之后或最近的关键帧返回。所以造成未匹配的现象,若想要尽量获取任意时间点的帧图片,可以尝试通过media.AVImageQueryOptions.AV_IMAGE_QUERY_CLOSEST来获取对应时间点的视频帧,获取的是离传入时间点最近的帧,该帧不一定是关键帧。

总结

在HarmonyOS开发中,不同场景下获取视频特定帧的业务需求存在显著差异。以下是四个典型场景的具体业务案例对比:

维度

沙箱本地视频

网络视频

系统相册

数据来源

应用私有目录

远程服务器

用户相册

适用场景

视频编辑、本地播放

短视频、直播预加载

相册选择、媒体库管理