目录

音视频编解码与转码常见问题

Q:音频文件如何从一种编码格式/封装格式转为另一种编码格式/封装格式?

A:根据需要转换的目标音频格式不同,可以将转码需求分为两种场景:第一种场景是目标音频格式为封装格式;第二种场景是目标音频格式为编码格式。

场景一,需要转为特定的封装格式:

场景二,需要转为特定的编码格式:

音视频编解码详细可参考音频编码/音频解码,封装解析可参考媒体文件的封装与解析。

Q:为什么PCM可以不经过编码直接封装为WAV?

A:WAV是比较特殊的封装格式,它是一种无损格式,没有经过编码压缩,通过在PCM前加上一个44字节的文件头获得。

Q:HarmonyOS应用中实现音频转码,目前是否有官方SDK可以将音频格式由AMR转为WAV?

A:HarmonyOS暂无将AMR格式转为WAV格式的SDK,关于实现音频转码可参考:

方案一:将音频码流解码为PCM码流,再编码为WAV格式。

方案二:参考FFmpeg等第三方音频处理库。

Q:AAC编码后是否会自动添加ADTS头吗?

A:AAC编码器默认是带ADTS输出。

Q:针对OH_MD_KEY_AAC_IS_ADTS,AAC编码器支持配置吗?

A:AAC编码器不支持配置OH_MD_KEY_AAC_IS_ADTS。

Q:如何确认创建的是编码器还是解码器?

A:编解码器状态不是在运行时判断,而是在创建实例时进行设置的。通过OH_AudioCodec_CreateByMime()中设置参数isEncoder,当参数值为true时创建编码器,反之则是创建解码器。

Q:如何通过URL在线播放音频并获取AAC编码数据?

A:整体步骤为解封装→音频解码→PCM→音频编码→AAC。解封装和音频解码为PCM流可参考AVCodec完整示例,主要参考audio_decoder.cpp、audio_encoder.cpp、demuxer.cpp等文件。需将OH_AVSource_CreateWithFD替换为OH_AVSource_CreateWithURI来支持通过URL创建媒体源。m3u8格式每次解封装得到的只有部分ts数据,需要持续读取。PCM编码为AAC格式可参考音频编码开发步骤。

Q:投屏或者视频直播类场景下,服务端与客户端之间视频流数据的传递采用H264格式编码,客户端需要持续接收H264裸流数据并实时解码送到页面渲染,如何实现这种功能?

A:基于demo:AVCodecVideo。

针对Annex-B格式的H264数据流,修改工程当中的解封装步骤,可实现逐帧解码送显,修改步骤如下:
  1. 修改解封装Demuxer创建过程(entry/src/main/cpp/capbilities/Demuxer.cpp的Create函数),解码器类型选择OH_AVCODEC_MIMETYPE_VIDEO_AVC,其余视频相关参数需要业务自行定义;
    int32_t Demuxer::Create(SampleInfo &info)
    {
        info.videoCodecMime = OH_AVCODEC_MIMETYPE_VIDEO_AVC;
        info.videoWidth = 1290; // 仅供参考,按业务实际情况修改
        info.videoHeight = 720; // 仅供参考,按业务实际情况修改
        info.frameRate = 52.390670553935863; // 仅供参考,按业务实际情况修改
        info.bitrate = 452184; // 仅供参考,按业务实际情况修改
        info.rotation = 0; // 仅供参考,按业务实际情况修改
        return AVCODEC_SAMPLE_ERR_OK;
    }
  2. entry/src/main/cpp/sample/player/Player.cpp定义Annex-B和avcc相关常量:
    constexpr uint8_t ANNEXB_FRAME_HEAD[] = {0, 0, 0, 1};
    constexpr uint8_t ANNEXB_FRAME_HEAD_LEN = sizeof(ANNEXB_FRAME_HEAD);
    constexpr uint8_t AVCC_FRAME_HEAD_LEN = 4;
  3. 修改视频流输入(entry/src/main/cpp/sample/player/Player.cpp的VideoDecInputThread函数),Annex-B格式的H264数据流需要根据数据帧前缀逐帧读取,(一般格式为0x00 00 00 01)把数据通过内存拷贝进输入buffer当中去,重新设置buffer的attr属性:
    void Player::VideoDecInputThread()
    {
        int32_t index = 0;
        uint8_t pBuffer[1500000];
    
        while (true) {
            int32_t buffSize = pread(sampleInfo_.inputFd, pBuffer, 1500000, index);
            CHECK_AND_BREAK_LOG(isStarted_, "Decoder input thread out");
            std::unique_lock<std::mutex> lock(videoDecContext_->inputMutex);
            bool condRet = videoDecContext_->inputCond.wait_for(
                lock, 5s, [this]() { return !isStarted_ || !videoDecContext_->inputBufferInfoQueue.empty(); });
            CHECK_AND_BREAK_LOG(isStarted_, "Work done, thread out");
            CHECK_AND_CONTINUE_LOG(!videoDecContext_->inputBufferInfoQueue.empty(),
                                   "Buffer queue is empty, continue, cond ret: %{public}d", condRet);
    
            CodecBufferInfo bufferInfo = videoDecContext_->inputBufferInfoQueue.front();
            videoDecContext_->inputBufferInfoQueue.pop();
            videoDecContext_->inputFrameCount++;
            lock.unlock();
    
            // 修改视频流输入,逐帧数据读取,拷贝至输入buffer内存当中,设置buffer的attr属性
            // 根据Annex-B格式数据前缀取帧
            int32_t bufferSize = OH_AVBuffer_GetCapacity(reinterpret_cast<OH_AVBuffer *>(bufferInfo.buffer));
            auto pos = std::search(pBuffer + ANNEXB_FRAME_HEAD_LEN,
                pBuffer + bufferSize, std::begin(ANNEXB_FRAME_HEAD), std::end(ANNEXB_FRAME_HEAD));
            uint32_t size = std::distance(pBuffer, pos);
            uint8_t * bufferArray = OH_AVBuffer_GetAddr(reinterpret_cast<OH_AVBuffer *>(bufferInfo.buffer)); // 通过OH_AVBuffer_GetAddr获取OH_AVBuffer内存地址
            memcpy(bufferArray, pBuffer, size); // 逐帧数据拷贝进OH_AVBuffer当中
            bufferInfo.attr.flags = IsCodecData(pBuffer) ? AVCODEC_BUFFER_FLAGS_CODEC_DATA : AVCODEC_BUFFER_FLAGS_NONE;
            bufferInfo.attr.size = size; // 设置帧buffer长度
            bufferInfo.attr.pts = videoDecContext_->inputFrameCount * ((sampleInfo_.frameInterval == 0) ? 1 : sampleInfo_.frameInterval) *
                        1000;
            OH_AVBuffer_SetBufferAttr(reinterpret_cast<OH_AVBuffer *>(bufferInfo.buffer), &bufferInfo.attr); // 通过OH_AVBuffer_SetBufferAttr设置输入buffer的attr属性,(必须,否则解码器没有输入数据)
            index += size;
    
            int32_t ret = videoDecoder_->PushInputBuffer(bufferInfo);
            CHECK_AND_BREAK_LOG(ret == AVCODEC_SAMPLE_ERR_OK, "Push data failed, thread out");
    
            CHECK_AND_BREAK_LOG(!(bufferInfo.attr.flags & AVCODEC_BUFFER_FLAGS_EOS), "Catch EOS, thread out");
        }
    }
    
    bool Player::IsCodecData(const uint8_t *const bufferAddr)
    {
        bool isH264Stream = true;
    
        // 0x1F:avc nalu type mask;0x7E:hevc nalu type mask
        uint8_t naluType =
            isH264Stream ? (bufferAddr[AVCC_FRAME_HEAD_LEN] & 0x1F) : ((bufferAddr[AVCC_FRAME_HEAD_LEN] & 0x7E) >> 1);
    
        constexpr uint8_t avcSps = 7;
        constexpr uint8_t avcPps = 8;
        constexpr uint8_t hevcVps = 32;
        constexpr uint8_t hevcSps = 33;
        constexpr uint8_t hevcPps = 34;
        if ((isH264Stream && ((naluType == avcSps) || (naluType == avcPps))) ||
            (!isH264Stream && ((naluType == hevcVps) || (naluType == hevcSps) || (naluType == hevcPps)))) {
            return true;
        }
        return false;
    }
  4. 最终把entry/src/main/ets/pages/Index.ets当中的photoPicker改为documentPicker,即可尝试选取H264文件进行播放测试。

Q:往解码器中喂帧,数据如何填充至OH_AVBuffer当中?

A:通过OH_AVBuffer_GetAddr获取OH_AVBuffer内存地址,memcpy写入帧数据,通过OH_AVBuffer_SetBufferAttr设置输入buffer的长度等attr属性。

Q:往解码器中喂帧,无视频流输出,输出buffer为空?

A:OH_AVBuffer_SetBufferAttr设置attr属性时,需要先确保attr里flags、size、pts等字段的值正确,否则解码器无法正确获取输入流。

Q:avcc格式如何播放?

A:解码器只能处理Annex-B格式数据,avcc格式需要先转换为Annex-B再填充至OH_AVBuffer当中。

Q:H265格式的码流如何播放?

A:同理,修改解码器MIME类型为OH_AVCODEC_MIMETYPE_VIDEO_HEVC即可,更多格式可参考媒体编解码格式。

Q:如何拿到sps信息和pps信息?

A:缓冲区标记的类别flag为AVCODEC_BUFFER_FLAGS_CODEC_DATA有对应信息,可以从缓冲区buffer里面拿到。

Q:从ArkTS层获取的裸流数据放入队列后进行解码,为何会解码一段时间后暂停解码?

A:获取的H264裸流数据存入一个新队列,再让解码输入线程去该队列取数据同时属于两个线程,需要对存取队列数据的步骤进行增加互斥锁。否则会导致队列数据混乱,使得解码流程出现问题,导致暂停解码播放。