Q:音频文件如何从一种编码格式/封装格式转为另一种编码格式/封装格式?
A:根据需要转换的目标音频格式不同,可以将转码需求分为两种场景:第一种场景是目标音频格式为封装格式;第二种场景是目标音频格式为编码格式。

场景一,需要转为特定的封装格式:
场景二,需要转为特定的编码格式:
音视频编解码详细可参考音频编码/音频解码,封装解析可参考媒体文件的封装与解析。
Q:为什么PCM可以不经过编码直接封装为WAV?
A:WAV是比较特殊的封装格式,它是一种无损格式,没有经过编码压缩,通过在PCM前加上一个44字节的文件头获得。
Q:HarmonyOS应用中实现音频转码,目前是否有官方SDK可以将音频格式由AMR转为WAV?
A:HarmonyOS暂无将AMR格式转为WAV格式的SDK,关于实现音频转码可参考:
方案二:参考FFmpeg等第三方音频处理库。
Q:AAC编码后是否会自动添加ADTS头吗?
A:AAC编码器默认是带ADTS输出。
Q:针对OH_MD_KEY_AAC_IS_ADTS,AAC编码器支持配置吗?
A:AAC编码器不支持配置OH_MD_KEY_AAC_IS_ADTS。
Q:如何确认创建的是编码器还是解码器?
A:编解码器状态不是在运行时判断,而是在创建实例时进行设置的。通过OH_AudioCodec_CreateByMime()中设置参数isEncoder,当参数值为true时创建编码器,反之则是创建解码器。
Q:如何通过URL在线播放音频并获取AAC编码数据?
A:整体步骤为解封装→音频解码→PCM→音频编码→AAC。解封装和音频解码为PCM流可参考AVCodec完整示例,主要参考audio_decoder.cpp、audio_encoder.cpp、demuxer.cpp等文件。需将OH_AVSource_CreateWithFD替换为OH_AVSource_CreateWithURI来支持通过URL创建媒体源。m3u8格式每次解封装得到的只有部分ts数据,需要持续读取。PCM编码为AAC格式可参考音频编码开发步骤。
Q:投屏或者视频直播类场景下,服务端与客户端之间视频流数据的传递采用H264格式编码,客户端需要持续接收H264裸流数据并实时解码送到页面渲染,如何实现这种功能?
A:基于demo:AVCodecVideo。
int32_t Demuxer::Create(SampleInfo &info)
{
info.videoCodecMime = OH_AVCODEC_MIMETYPE_VIDEO_AVC;
info.videoWidth = 1290; // 仅供参考,按业务实际情况修改
info.videoHeight = 720; // 仅供参考,按业务实际情况修改
info.frameRate = 52.390670553935863; // 仅供参考,按业务实际情况修改
info.bitrate = 452184; // 仅供参考,按业务实际情况修改
info.rotation = 0; // 仅供参考,按业务实际情况修改
return AVCODEC_SAMPLE_ERR_OK;
} constexpr uint8_t ANNEXB_FRAME_HEAD[] = {0, 0, 0, 1};
constexpr uint8_t ANNEXB_FRAME_HEAD_LEN = sizeof(ANNEXB_FRAME_HEAD);
constexpr uint8_t AVCC_FRAME_HEAD_LEN = 4; void Player::VideoDecInputThread()
{
int32_t index = 0;
uint8_t pBuffer[1500000];
while (true) {
int32_t buffSize = pread(sampleInfo_.inputFd, pBuffer, 1500000, index);
CHECK_AND_BREAK_LOG(isStarted_, "Decoder input thread out");
std::unique_lock<std::mutex> lock(videoDecContext_->inputMutex);
bool condRet = videoDecContext_->inputCond.wait_for(
lock, 5s, [this]() { return !isStarted_ || !videoDecContext_->inputBufferInfoQueue.empty(); });
CHECK_AND_BREAK_LOG(isStarted_, "Work done, thread out");
CHECK_AND_CONTINUE_LOG(!videoDecContext_->inputBufferInfoQueue.empty(),
"Buffer queue is empty, continue, cond ret: %{public}d", condRet);
CodecBufferInfo bufferInfo = videoDecContext_->inputBufferInfoQueue.front();
videoDecContext_->inputBufferInfoQueue.pop();
videoDecContext_->inputFrameCount++;
lock.unlock();
// 修改视频流输入,逐帧数据读取,拷贝至输入buffer内存当中,设置buffer的attr属性
// 根据Annex-B格式数据前缀取帧
int32_t bufferSize = OH_AVBuffer_GetCapacity(reinterpret_cast<OH_AVBuffer *>(bufferInfo.buffer));
auto pos = std::search(pBuffer + ANNEXB_FRAME_HEAD_LEN,
pBuffer + bufferSize, std::begin(ANNEXB_FRAME_HEAD), std::end(ANNEXB_FRAME_HEAD));
uint32_t size = std::distance(pBuffer, pos);
uint8_t * bufferArray = OH_AVBuffer_GetAddr(reinterpret_cast<OH_AVBuffer *>(bufferInfo.buffer)); // 通过OH_AVBuffer_GetAddr获取OH_AVBuffer内存地址
memcpy(bufferArray, pBuffer, size); // 逐帧数据拷贝进OH_AVBuffer当中
bufferInfo.attr.flags = IsCodecData(pBuffer) ? AVCODEC_BUFFER_FLAGS_CODEC_DATA : AVCODEC_BUFFER_FLAGS_NONE;
bufferInfo.attr.size = size; // 设置帧buffer长度
bufferInfo.attr.pts = videoDecContext_->inputFrameCount * ((sampleInfo_.frameInterval == 0) ? 1 : sampleInfo_.frameInterval) *
1000;
OH_AVBuffer_SetBufferAttr(reinterpret_cast<OH_AVBuffer *>(bufferInfo.buffer), &bufferInfo.attr); // 通过OH_AVBuffer_SetBufferAttr设置输入buffer的attr属性,(必须,否则解码器没有输入数据)
index += size;
int32_t ret = videoDecoder_->PushInputBuffer(bufferInfo);
CHECK_AND_BREAK_LOG(ret == AVCODEC_SAMPLE_ERR_OK, "Push data failed, thread out");
CHECK_AND_BREAK_LOG(!(bufferInfo.attr.flags & AVCODEC_BUFFER_FLAGS_EOS), "Catch EOS, thread out");
}
}
bool Player::IsCodecData(const uint8_t *const bufferAddr)
{
bool isH264Stream = true;
// 0x1F:avc nalu type mask;0x7E:hevc nalu type mask
uint8_t naluType =
isH264Stream ? (bufferAddr[AVCC_FRAME_HEAD_LEN] & 0x1F) : ((bufferAddr[AVCC_FRAME_HEAD_LEN] & 0x7E) >> 1);
constexpr uint8_t avcSps = 7;
constexpr uint8_t avcPps = 8;
constexpr uint8_t hevcVps = 32;
constexpr uint8_t hevcSps = 33;
constexpr uint8_t hevcPps = 34;
if ((isH264Stream && ((naluType == avcSps) || (naluType == avcPps))) ||
(!isH264Stream && ((naluType == hevcVps) || (naluType == hevcSps) || (naluType == hevcPps)))) {
return true;
}
return false;
} Q:往解码器中喂帧,数据如何填充至OH_AVBuffer当中?
A:通过OH_AVBuffer_GetAddr获取OH_AVBuffer内存地址,memcpy写入帧数据,通过OH_AVBuffer_SetBufferAttr设置输入buffer的长度等attr属性。
Q:往解码器中喂帧,无视频流输出,输出buffer为空?
A:OH_AVBuffer_SetBufferAttr设置attr属性时,需要先确保attr里flags、size、pts等字段的值正确,否则解码器无法正确获取输入流。
Q:avcc格式如何播放?
A:解码器只能处理Annex-B格式数据,avcc格式需要先转换为Annex-B再填充至OH_AVBuffer当中。
Q:H265格式的码流如何播放?
A:同理,修改解码器MIME类型为OH_AVCODEC_MIMETYPE_VIDEO_HEVC即可,更多格式可参考媒体编解码格式。
Q:如何拿到sps信息和pps信息?
A:缓冲区标记的类别flag为AVCODEC_BUFFER_FLAGS_CODEC_DATA有对应信息,可以从缓冲区buffer里面拿到。
Q:从ArkTS层获取的裸流数据放入队列后进行解码,为何会解码一段时间后暂停解码?
A:获取的H264裸流数据存入一个新队列,再让解码输入线程去该队列取数据同时属于两个线程,需要对存取队列数据的步骤进行增加互斥锁。否则会导致队列数据混乱,使得解码流程出现问题,导致暂停解码播放。