米谟科技 3D音频VR编辑器——sound flare声弹是什么

 “想象一下，音频编辑一会儿在2D屏幕上拖动各种按钮，脑补3D声音的场景，一会儿又得带上VR头显监听监看，这种操作方式简直是反人类！”向奕裴说。为了彻底解决这个问题，向奕裴想到：为何不直接让制作人员戴着头显，直接在
VR 的环境下进行视频、音频的编辑呢？这样一来，不用冥思苦想，脑补实况，监听监看也变成了顺便的事情。 想要VR内容编辑精确、极致的3D音频效果，只能在脑海中构想不同的3D场景以及对应空间音效。但是来自米谟科技(Mint
Muse)的全球首个3D音频VR编辑器 Sound Flare ，允许你在VR场景中直观地编辑3D音频内容，并登录steam平台。

是什么？

Sound Flare编辑器可以说是行业首创的直接可在VR界面工作的后期处理工具，对于这个痛点实现了针对性地解决。

Mint Muse 近期在 Steam 发布的 VR 3D 音频编辑器 Sound Flare，就突破性地 让制作人员全程在 VR 环境中，直接根据全景视频文件进行 3D 音频制作，打破了以往3D 音频制作的各种限制，。



（在Sound Flare上拖动音频位置，与视频进行对应）

这款发布在 Steam 上的编辑器，允许人们带上 VR 头显，用所见即所得的方式进行音频编辑和制作。



（Sound Flare 让VR音频编辑变得生动可见）

内容制作者可以戴着 VR 头显，在所看到的软件界面上直接拖动音频文件，除了调整市场、剪接、调音量等基本功能，通过打点、拖动关键帧等方式，也可以根据发声路径改变声音的远近，让发声的人物和声音效果相符。

  目前谷歌、Valve、Facebook都有向开发者提供VR音频SDK，以方便开发者嵌入3D音频，提升沉浸式VR体验，但是3D音频源文件的制作还停留在传统的技术上。



　Steam Audio SDK 的技术是 Impulsonic 研发，Impulsonic 开发了 Phonon 音频工具，但该工具已被 Valve 收购。

　　Valve写道：“Steam Audio是一种先进的空间音频解决方案，它使用基于物理学的声音传播以及基于 HRTF 的双耳音频来增加沉浸感。 空间音频显著提高了在 VR 中的沉浸。3D音频技术应该着重考虑添加基于物理的声音传播、通过一致地重建声音、如何与虚拟环境交互来进一步改善体验。”



　　根据Valve所言，Steam Audio SDK的最大优点之一是自动实时声音传播：

　　在现实中，声音从声源发出，之后它通过环境反弹，在到达听众之前与各种对象进行交互和反射。开发人员想要模拟这种效果，并且倾向于使用手动调整的过滤器和脚本手动调音，以达到近似声音的传播。valve 音频可以自动模拟这些声音传播效应。

 
在VR环境下，声音素材被可视化为音源球，提供直观的编辑操作，允许音频编辑师通过拖曳的方式设计音频的播放轨迹而不再需要脑补XYZ坐标值。在编辑音频的同时，还可以运行VR内容，实时分析判断音频设计的正确性。一切都变得高效、快速，所见即所得。

  通过Sound
Flare编辑的3D音频可以导出并嵌入到VR内容中，以实现空间音效。Sound Flare还是一个非常初级的版本，目前已经实现双耳3D音频(HRTF与定向空间化)的制作，在后续的版本中将增加Ambisonics(环境立体声)的支持，实现全沉浸式空间音效效果。



能做什么？

　　Sound Flare 到底能实现怎样的效果呢？举个简单的栗子，你就懂了。

在一段 VR 视频里，探长 Peter 和 Paul 都在硅谷密探的办公室里，Peter 在呼噜呼噜地吃牛肉面，Paul 在打电话。使用 Sound Flare 将音频进行 3D 处理编辑后，小探用 VR 头显观看视频——从门口走进办公室，如果将画面拉近 Peter，Peter 吃牛肉面的声音就大一些；如果把画面拉近 Paul，小探就能听清 Paul 在说什么；把画面对向墙壁时，甚至可以听到回声。如果把画面拉到门口之外，就什么也听不清啦。

这样一来，人物的位置信息在声音和画面上都保持了一致，VR视频将真正做到给人有“能忘却所佩戴设备的真实空间感”。
优点呢？

Google、Valve 等也都为VR内容制作者提供了 VR 音频编辑的 SDK，方便制作者将3D音频嵌入视频当中，但是目前最严重的问题是：3D音频源文件的制作还存在很多限制。

向奕裴在采访中告诉小探，传统的3D音频制作，可以通过“人头录音”设备来实现，就像我们熟知的3D虚拟理发店这类内容一样。这样产生的3D音频直接可用，但是价格昂贵，并且音频的各类要素都完全依赖现场的录制状况，后期完全不可编辑。然而视频的制作是需要视、音频文件严丝合缝的对应的，一旦音频无法二次编辑，这将给视频制作带来很大的阻碍。

目前在 Sound Flare 上已经可以轻松实现两耳3D音频的制作，在未来的版本中，Sound Flare 将增加对环境立体声（ambisonics）的支持，让VR音频实现全沉浸式的空间音效效果。



除了带来行业变革的 VR 3D 音频编辑器，Mint Muse 还为包括优酷在内的多个VR 视频播放平台提供全景声解决方案，让3D音频的播出不受平台技术限制，让人们更全面地体验到全景声带来的奇妙感受。
关于flare算法：

在摄影领域,镜头眩光是一种很常见的光学现象,在镜头朝向如太阳等强光源进行拍摄时,这种现象尤为明显。视线追踪算法，基于额外层次的镜头光源生成算法——flare。

主角A坐标，敌人B坐标。A到哪，B也跟到哪，如图所示

                                                                                                                                  


图1

A(x1,y1) ,B (x2,y2)，这样就可以得到敌人追击主角的路线，BA(x1-x2,y1,-y2),这样实现了追踪敌人目的，可是这是最好的吗？不，你不感觉这样很突兀吗，B的方向突变很快，因为重心点事B，而不是A，这样处于一种被动的情况，而实际是A主角是被动的追击的，跟实际情况不相符，我们换一种思路。以A为圆心，B就可以把握全局，决定运动的方向，而不是被动式的跟着A 跑。哪怎么实现呢。

这涉及到向量计算。不要看到数学就头晕。很简单的，高中我们就学过。向量是什么呢，有方向有大小的。如 ------------> 他就是长这样，还记得吗。这个有什么呢。这个要放到我们的问题中才有用，不然一点用处都没有。我们不是要【 B
------->A 】吗，这个就可以表示B到A的向量，只要能确定A和B的位置，我就可以找到B到A的一条路径，这条路径就是追踪路线。那怎么找出呢。

我们的界面坐标位置是根据坐标轴XY确定的，那么就可以在坐标轴上找到AB的坐标，如图显示。

 


图2

A的向量(x1，y1)，B的向量(x2，y2)，那A->B的向量坐标就是AB(x1-x2,y1-y2),所以A追踪B的路线就是向量AB，AB的举例就是，根据勾股定理得到向量AB 长度  

，把AB标准化就是AB（ (x1-x1)/Len，y1-y1/Len）,这样整个算法就显示出来了。只要给出A，B的坐标就可以实现追踪。在真实的游戏开发中，我们还要考虑速度、摩擦力还有使用的交通工具等。