文档开发者中心
我的
|

HarmonyOS 6

HarmonyOS 5

HarmonyOS 6 如何使用 AI 图像分类能力,实现物体识别与场景检测?

在鸿蒙 6(API20)应用中,需要实现图像分类功能,用于识别图片中的物体(如动物、植物、交通工具)和场景(如沙漠、森林、城市)。尝试调用@ohos.ai.vision.imageclassification模块,但出现:1. 分类结果错误;2. 模型加载超时;3. 不支持实时相机流分类。如何正确集成鸿蒙原生 AI 图像分类能力,支持本地图片和相机实时流分类,且适配鸿蒙 6 的性能优化要求?关键字:鸿蒙 6、AI 图像分类、物体识别、场景检测、相机实时流、API20、AI Vision
点赞
收藏
回复
1
分享
举报
浏览313 发布于2025-12-24 07:47广东
全部评论
最多点赞
最新发布
最早发布

一、原理解析

鸿蒙 6 AI 图像分类基于AI Vision框架的ImageClassifier能力,核心特点:

  1. 内置 MobileNet 轻量级模型,支持 1000 + 常见物体 / 场景分类,兼顾性能和精度;
  2. 支持两种输入源:本地图片(PixelMap)、相机实时流(Surface);
  3. 核心流程:初始化 AI 引擎 → 加载分类模型 → 输入图像数据 → 执行分类 → 解析 Top-N 结果(默认返回概率最高的 3 个结果)。

二、完整实现代码

1. 权限配置(module.json5)

json

收起
自动换行
深色代码主题
复制
{
  "module": {
    "requestPermissions": [
      {
        "name": "ohos.permission.CAMERA",
        "reason": "实时相机流分类",
        "usedScene": { "ability": [".MainAbility"], "when": "inuse" }
      },
      {
        "name": "ohos.permission.READ_MEDIA",
        "reason": "本地图片分类",
        "usedScene": { "ability": [".MainAbility"], "when": "inuse" }
      }
    ]
  }
}

2. 图像分类工具类(ImageClassificationUtil.ets)

typescript

运行

收起
自动换行
深色代码主题
复制
import aiVision from '@ohos.ai.vision';
import imageClassification from '@ohos.ai.vision.imageclassification';
import image from '@ohos.multimedia.image';
import fs from '@ohos.file.fs';
import common from '@ohos.app.ability.common';
import { BusinessError } from '@ohos.base';

// 分类结果类型
export interface ClassificationResult {
  label: string; // 分类标签(如"cat"、"mountain")
  confidence: number; // 置信度(0~1)
}

export class ImageClassificationUtil {
  private context: common.UIAbilityContext;
  private classifier: imageClassification.ImageClassifier | null = null;

  constructor(context: common.UIAbilityContext) {
    this.context = context;
    this.initClassifier();
  }

  // 初始化图像分类器
  private async initClassifier() {
    try {
      await aiVision.init(this.context);
      this.classifier = await imageClassification.createImageClassifier();
      // 配置分类参数(返回Top3结果,置信度阈值0.5)
      const config = {
        topK: 3,
        confidenceThreshold: 0.5,
        modelType: imageClassification.ModelType.MODEL_MOBILENET
      };
      await this.classifier.setConfig(config);
    } catch (err) {
      console.error(`图像分类初始化失败:${(err as BusinessError).message}`);
    }
  }

  // 本地图片分类
  async classifyLocalImage(imagePath: string): Promise<ClassificationResult[]> {
    if (!this.classifier) throw new Error('分类器未初始化');

    try {
      const fileFd = await fs.open(imagePath);
      const imageSource = image.createImageSource(fileFd.fd);
      await fs.close(fileFd);

      const pixelMap = await imageSource.createPixelMap({
        size: { width: 224, height: 224 }, // MobileNet模型最佳输入尺寸
        pixelFormat: image.PixelFormat.RGBA_8888
      });

      // 执行分类
      const result = await this.classifier.classify(pixelMap);
      pixelMap.release();

      // 解析结果
      return result.classificationResults.map((item) => ({
        label: item.labelName,
        confidence: item.confidence
      }));
    } catch (err) {
      console.error(`本地图片分类失败:${(err as BusinessError).message}`);
      return [];
    }
  }

  // 相机实时流分类(绑定Surface)
  async classifyCameraStream(surface: image.Surface): Promise<ClassificationResult[]> {
    if (!this.classifier) throw new Error('分类器未初始化');

    try {
      // 绑定相机Surface到分类器
      await this.classifier.setSurface(surface);
      // 实时分类(每帧调用一次)
      const result = await this.classifier.classify();
      return result.classificationResults.map((item) => ({
        label: item.labelName,
        confidence: item.confidence
      }));
    } catch (err) {
      console.error(`相机流分类失败:${(err as BusinessError).message}`);
      return [];
    }
  }

  // 释放资源
  destroy() {
    if (this.classifier) {
      this.classifier.release();
      this.classifier = null;
    }
    aiVision.destroy();
  }
}

3. 组件中使用示例(支持本地图片 + 相机流)

typescript

运行

收起
自动换行
深色代码主题
复制
import { ImageClassificationUtil, ClassificationResult } from '../utils/ImageClassificationUtil';
import camera from '@ohos.multimedia.camera';
import common from '@ohos.app.ability.common';

@Entry
@Component
struct ImageClassificationDemo {
  private context = getContext(this) as common.UIAbilityContext;
  private classificationUtil = new ImageClassificationUtil(this.context);
  @State results: ClassificationResult[] = [];
  @State isCameraMode: boolean = false;
  private cameraManager: camera.CameraManager | null = null;
  private previewSurface: image.Surface | null = null;

  build() {
    Column({ space: 20 })
      .width('100%')
      .height('100%')
      .padding(20) {
      Text('鸿蒙AI图像分类')
        .fontSize(20)
        .fontWeight(FontWeight.Bold)

      Flex({ space: 10, justifyContent: FlexAlign.Center }) {
        Button('本地图片分类')
          .onClick(async () => {
            this.isCameraMode = false;
            const imagePath = `${this.context.filesDir}/test_classify.jpg`;
            this.results = await this.classificationUtil.classifyLocalImage(imagePath);
          })
        Button('相机实时分类')
          .onClick(() => {
            this.isCameraMode = true;
            this.initCamera(); // 初始化相机并开始实时分类
          })
      }

      // 分类结果展示
      Column({ space: 10 }) {
        ForEach(this.results, (item) => {
          Text(`${item.label}(置信度:${(item.confidence * 100).toFixed(1)}%)`)
            .fontSize(16)
        })
      }
      .width('100%')
      .marginTop(20)

      // 相机预览(实时分类模式)
      if (this.isCameraMode && this.previewSurface) {
        SurfaceProvider()
          .surface(this.previewSurface)
          .width('100%')
          .height(300)
      }
    }
  }

  // 初始化相机
  private async initCamera() {
    this.cameraManager = camera.getCameraManager(this.context);
    const cameras = await this.cameraManager.getCameraDevices();
    const cameraDevice = cameras[0]; // 默认使用后置摄像头

    // 创建相机输入
    const cameraInput = await cameraDevice.createInput();
    await this.cameraManager.addInput(cameraInput);

    // 创建预览输出
    const previewOutput = await cameraDevice.createOutput(camera.OutputType.PREVIEW);
    this.previewSurface = await previewOutput.getSurface();
    await this.cameraManager.addOutput(previewOutput);

    // 启动相机
    await this.cameraManager.start();

    // 实时分类(每500ms执行一次,避免性能消耗过大)
    setInterval(async () => {
      if (this.previewSurface) {
        this.results = await this.classificationUtil.classifyCameraStream(this.previewSurface);
      }
    }, 500);
  }

  aboutToDisappear() {
    this.classificationUtil.destroy();
    // 停止相机
    if (this.cameraManager) {
      this.cameraManager.stop();
    }
  }
}

三、避坑点

  1. 模型输入尺寸:MobileNet 模型最佳输入尺寸为 224x224,其他尺寸会降低分类精度,需提前缩放图片;
  2. 实时流性能:相机实时分类需控制调用频率(建议 500ms~1s / 次),避免频繁调用导致 UI 卡顿;
  3. 置信度阈值:默认阈值 0.5,低于该值的结果会被过滤,可根据需求调整(如 0.3 提高召回率);
  4. 场景限制:内置模型对常见物体 / 场景分类效果较好,特殊领域(如医学影像、工业检测)需集成自定义模型;
  5. 资源占用:AI 分类会消耗一定 CPU/GPU 资源,长时间使用需注意设备温度,避免触发热管理降级。
展开全部
1楼回复于2025-12-24 09:48 来自广东
写回答
新增插入模板功能
一键使用模板,快速填写内容,轻松发帖~
知道了
  • 为了保障您的信息安全,请勿上传您的敏感个人信息(如您的密码等信息)和您的敏感资产信息(如关键源代码、签名私钥、调试安装包、业务日志等信息),且您需自行承担由此产生的信息泄露等安全风险。
  • 如您发布的内容为转载内容,请注明内容来源。

我要提问题

了解社区公约,与您携手共创和谐专业的开发者社区。