音频制作的现状与发展趋势

内容来源：华为开发者大会2021 HMS Core 6 Media技术论坛，主题演讲《音频制作的现状与发展趋势》。

演讲嘉宾：华为音频算法研究高级工程师

大家好！我是来自华为音频工程部的工程师。今天很高兴跟大家分享关于音频制作的现状以及我们所理解的音频发展趋势。

从留声机、黑胶唱片到MP3、CD，音频已经发展了很多年，并且一直以来都沿着两条比较大的主线进行发展。一个是超高清的发展方向，音频的数字品质越来越高，码率越来越低。现在对于人类来说的音频范围在20到22赫兹，17K以上的音频基本上听不到了。

另外一个发展方向就是我今天要说的主题——沉浸式。

最开始音频的录音和回放都受到一定的限制，刚开始是单声道，单声道的意思就是声源从一个点飞过来，不会涵盖太多的内容，称之为点声源。到立体式和双声道的时代，又通过给左右声道赋予不同的内容，来呈现更多的空间感和故事感，在过去60、70年代有很多前沿的乐队都在用双声道给用户带来不一样的体验。

后来从环绕声到三维声，增加的内容不仅仅是左右声道的内容，而是从前后左右甚至是上下的方向都有不同的声源传入耳朵里，这样，使用者就会有更大的空间来编辑他们的声源，用户也有更多的沉浸感。

现在越来越多音乐人用三维声制作音乐，但三维声的制作还在比较初级的阶段，混音的范式混音师还在摸索中。三维声对于专业的混音师来说是多声道回放的环境，但是目前大部分用户主要还是依赖耳机进行回放，目前主要针对耳机进行三维声音乐推广的的友商是索尼的360 reality和苹果音乐与杜比合作的dolby atmos music，当然也可以通过IMU耳机实现三维声回放探索，戴上IMU耳机就会有头在转、音源固定在那里的一种感觉。

现有的三维声制作流程是怎样的呢？

首先会有一个作曲和编曲，我们需要找专业的人士来进行唱歌和乐器的录音，然后我们会将录完的这些分轨素材导入数字音频的工作站，数字音频的工作站里面经由专业混音师的巧手来进行插件，最后生成三维声音频并通过多声道来进行回放。

那么，HMS Core可以做成怎么样？

先是通过AI作曲能力辅助各位进行编曲创作，然后基于我们提供的TTSing歌声合成能力，让大家更快合成比较专业的音频，经Audio Edior kits将2D转成3D，然后在UGC或PUGC制作过程中，产生他们自己的3D音频，最后形成双耳回放或多声道回放并进行耳机监听。

AI作曲配器

接下来跟大家介绍一下AI作曲配器。我们平时走路过程当中会哼一些小调的灵感，通过AI作曲就会自动生成曲子。目前AI作曲的能力主要集中在民谣和国风。我们可以更好地服务大家去迎合消费者的市场，To C可以辅助PGC、使能UGC音乐创作，降低创作门槛；To B可以提供罐头音乐，减少音乐版权费用，支撑自有应用和合作伙伴商业成功。

TTSing歌声合成

有了词曲以后如何进行TTSing歌声合成呢？用户可以把曲谱信息输入到TTSing歌声，感受一下词曲配上这个歌声的能力，配合刚才AI作出的曲子再加上歌词听听效果。

2D转3D

有了乐器轨、乐曲轨和歌声以后，就可以导入音频2D转3D的能力，可以通过交互界面简单拖动，也可以通过手机Media传感器指挥，把这些轨渲染到空间中任何一个位置，爱后进行双耳回放就可以听到最终合成的歌曲。是不是没有曲子和能力就不能做这个空间的渲染？不是的，我们支持大家把普通的双声道、MP3导到2D转3D的能力，自动分析出这里面有钢琴和人声，然后指定钢琴里面某一个元素，通过渲染到空间每个位置进行双耳渲染，即使是老歌，也可以转成三维声的音乐，创造属于你自己的音乐。