通过OH_AVScreenCapture获取原始码流的方式录制mp4文件,在录制过程中,需要将音视频帧转成图片或PCM数据,进行图像识别或语音识别,如何在录制过程中将音视频帧数据转换为JPEG图片或PCM音频。
录屏取码流相关可详细参考AVScreenCapture录屏取码流。通过录屏获取码流的方式获取的流数据可根据场景,进行不同的处理。例如:
要在录制过程中获取音视频帧数据转换为对应格式的图片和音频,可以在AVScreenCapture的OH_AVBuffer中获取buffer流数据保存,再将保存的数据进行转换。
void Buffer2Png(OH_AVBuffer* buffer)
{
int bufferLen = OH_AVBuffer_GetCapacity(buffer);
OH_LOG_INFO (LOG_APP,"png length: %{public}d",bufferLen);
OH_NativeBuffer *nativeBuffer = OH_AVBuffer_GetNativeBuffer(buffer);
OH_NativeBuffer_Config config;
OH_NativeBuffer_GetConfig(nativeBuffer, &config);
int32_t videoSize = config.height * config.width * 4;
uint8_t *buf = OH_AVBuffer_GetAddr(buffer);
TestSavePng(config.width, config.height, (uint8_t *)buf);
} void OnBufferAvailable(OH_AVScreenCapture *capture, OH_AVBuffer *buffer, OH_AVScreenCaptureBufferType bufferType, int64_t timestamp, void *userData)
{
// 处于录屏取码流状态。
if (g_isCaptureStreamRunning) {
// 视频buffer。
Buffer2Png(buffer);
OH_LOG_INFO(LOG_APP, "this is an info level log");
}
}
struct OH_AVScreenCapture * g_capture;
// 开始录屏时调用StartScreenCapture。
static napi_value StartScreenCapture(napi_env env, napi_callback_info info)
{
size_t argc = 1;
napi_value args[1] = {nullptr};
// 获取参数。
napi_get_cb_info(env, info, &argc, args, nullptr, nullptr);
int32_t Frame_Rate;
napi_get_value_int32(env, args[0], &Frame_Rate);
g_isCaptureStreamRunning = true;
// 实例化ScreenCapture。
g_capture = OH_AVScreenCapture_Create();
// 设置回调 。
OH_AVScreenCapture_SetErrorCallback(g_capture, OnError, nullptr);
OH_AVScreenCapture_SetStateCallback(g_capture, OnStateChange, nullptr);
OH_AVScreenCapture_SetDataCallback(g_capture, OnBufferAvailable, nullptr);
OH_VideoCaptureInfo videocapinfo = {.videoFrameWidth = 768, .videoFrameHeight = 1280, .videoSource = OH_VIDEO_SOURCE_SURFACE_RGBA};
OH_VideoInfo videoinfo = {.videoCapInfo = videocapinfo};
OH_AVScreenCaptureConfig config = {.captureMode = OH_CAPTURE_HOME_SCREEN,.dataType = OH_ORIGINAL_STREAM,.videoInfo = videoinfo};
OH_AVScreenCapture_Init(g_capture, config);
// 开始录屏。
OH_AVScreenCapture_StartScreenCapture(g_capture);
// mic开关设置。
OH_AVScreenCapture_SetMicrophoneEnabled(g_capture, false);
// 可选 设置录屏时的最大帧率 需在启动后调用。
OH_AVScreenCapture_SetMaxVideoFrameRate(g_capture, Frame_Rate);
// 返回调用结果,仅返回随意值。
napi_value sum;
napi_create_double(env, 0, &sum);
return sum;
} PNG图片由多个文件块构成,每个块都有特定的用途,常见PNG文件块组成如下表所示。
块名 | 是否必须 | 说明 |
|---|---|---|
IHDR | 是 | 图像头信息(宽度、高度、比特深度、颜色类型等)。 |
PLTE | 否 | 调色板(仅当颜色类型为索引颜色时使用)。 |
tRNS | 否 | 透明度信息(仅当颜色类型为索引或 RGB 时使用)。 |
IDAT | 是 | 图像数据(经过压缩的图像像素数据)。 |
IEND | 是 | 图像结束标识。 |
一个简单的PNG文件结构必须包含图像基本信息及图像数据。综上所述,可以参考以下步骤将录制传入的PCM格式buffer手动转化为PNG图片:
完整示例参考如下:
void Svpng (FILE* out, unsigned w, unsigned h, const unsigned char * img, int alpha);
SVPNG_LINKAGE void Svpng(SVPNG_OUTPUT, unsigned w, unsigned h, const unsigned char* img, int alpha)
{
static const unsigned T[] = { 0, 0x1db71064, 0x3b6e20c8, 0x26d930ac, 0x76dc4190, 0x6b6b51f4, 0x4db26158, 0x5005713c,
/* CRC32校验码表 */ 0xedb88320, 0xf00f9344, 0xd6d6a3e8, 0xcb61b38c, 0x9b64c2b0, 0x86d3d2d4, 0xa00ae278, 0xbdbdf21c };
unsigned a = 1, b = 0, c, p = w * (alpha ? 4 : 3) + 1, x, y, i; /* 初始化CRC校验码的变量 */
#define SVPNG_U8A(ua, l) do { \
for (i = 0; i < (l); i++) { \
SVPNG_PUT((ua)[i]); \
} \
} while(0)
#define SVPNG_U32(u) do { \
SVPNG_PUT(((u) >> 24) & 255); \
SVPNG_PUT(((u) >> 16) & 255); \
SVPNG_PUT(((u) >> 8) & 255); \
SVPNG_PUT((u) & 255); \
} while(0)
#define SVPNG_U8C(u) do { \
SVPNG_PUT(u); \
c ^= (u); \
c = (c >> 4) ^ T[c & 15]; \
c = (c >> 4) ^ T[c & 15]; \
} while(0)
#define SVPNG_U8AC(ua, l) do { \
for (i = 0; i < (l); i++) { \
SVPNG_U8C((ua)[i]); \
} \
} while(0)
#define SVPNG_U16LC(u) do { SVPNG_U8C((u) & 255); SVPNG_U8C(((u) >> 8) & 255); } while(0)
#define SVPNG_U32C(u) do { SVPNG_U8C((u) >> 24); SVPNG_U8C(((u) >> 16) & 255); SVPNG_U8C(((u) >> 8) & 255); SVPNG_U8C((u) & 255); } while(0)
#define SVPNG_U8ADLER(u) do { SVPNG_U8C(u); a = (a + (u)) % 65521; b = (b + a) % 65521; } while(0)
#define SVPNG_BEGIN(s, l) do { SVPNG_U32(l); c = ~0U; SVPNG_U8AC(s, 4); } while(0)
#define SVPNG_END() SVPNG_U32(~c)
SVPNG_U8A("\x89PNG\r\n\32\n", 8); /* 写入PNG文件头 */
SVPNG_BEGIN("IHDR", 13); /* 将图像头信息写入IHDR块(图像头信息)中 */
SVPNG_U32C(w); SVPNG_U32C(h); /* 图像宽高(8字节) */
SVPNG_U8C(8); SVPNG_U8C(alpha ? 6 : 2); /* 深度为 8,颜色类型为带透明度(RGBA)或不带透明度(RGB) */
SVPNG_U8AC("\0\0\0", 3); /* 压缩方法、滤波器和交错类型固定为默认值 */
SVPNG_END(); /* 结束图像文件头写入 */
SVPNG_BEGIN("IDAT", 2 + h * (5 + p) + 4); /* 将图像数据写入IDAT块中 */
SVPNG_U8AC("\x78\1", 2); /* 写入压缩块起始头(2字节) */
for (y = 0; y < h; y++) { /* 每行作为一个压缩块(Default Block) */
SVPNG_U8C(y == h - 1); /* 写入一个字节判断是否到达最后一行,若是最后一行写1,否则写0 */
SVPNG_U16LC(p); SVPNG_U16LC(~p); /* 写入两个16位整数(共4字节),分别表示块大小及其1的补码,用于校验完整性 */
SVPNG_U8ADLER(0); /* 写入一个字节表示未使用滤波 */
for (x = 0; x < p - 1; x++, img++)
SVPNG_U8ADLER(*img); /* 将图像的每个像素依次写入压缩块中,完成图片数据压缩 */
}
SVPNG_U32C((b << 16) | a); /* 写入4字节整数用于表示压缩块的结束和Adler-32校验和 */
SVPNG_END(); /* } */
SVPNG_BEGIN("IEND", 0); SVPNG_END(); /* 写入图像结束块标识IEND */
}
#endif /* SVPNG_INC_ */ void TestSavePng(unsigned int w, unsigned int h, const unsigned char *img)
{
static int num = 0;
std::string tmpDir = std::getenv("TMPDIR"); // /data/storage/el2/base/cache
std::string filename = tmpDir + "/" + GETPNGNAME + std::to_string(num) + ".png";
FILE *fp = fopen(filename.c_str(), "wb");
Svpng(fp, w, h, img, 1);
fclose(fp);
fp = nullptr;
}