[工作积累] TAA Ghosting 的相关问题
2017-07-27 23:16
351 查看
因为TAA要使用上一帧的历史结果,那么在相机移动的时候,颜色就会有残留,出现ghosting(残影)。
由于上一帧历史是累积的,是由上一帧的直接渲染结果和上上帧的结果做了合并,所以ghosting并不是一帧就消失,要累积一段时间才会消失。
处理ghosting有很多方法,比如depth based rejection和velocity weighing, 现在最流行的方法,大概也是最好的方式是用neighbor AABB clip。
1.首先取当前帧,当前像素周围的几个颜色,比如4个颜色,得到最大值和最小值
2.用最大值和最小值构建AABB,(比如RGB空间的包围盒)
3.用这个AABB去clip 上一帧相同位置的像素颜色,把差别比较大的颜色拉得接近
这个做法整体效果不错,但有一个问题非常恶心。就是如果当前帧的颜色比较高频的时候,AABB clip会没有效果。举一个极端的例子:
(0,0,0)
(1,1,1) C (0,0,0)
(1,1,1)
比如当前帧里包含黑白噪声,那么对于一个像素C, 周围的颜色如上图。
得到的AABB,最小值RGB(0,0,0),最大值(1,1,1)
这个AABB已经覆盖了整个RGB空间(LDR),所以拿他对上一帧的历史颜色做clip的时候,所有颜色都在AABB内,颜色都会留下来,结果就是还是有ghosting。
目前还没看到很好的解决方法。去年(2016)SIGGRAPH2016上naughty dog的一个slide提到了一种解决方法:
Temporal Antialiasing in Uncharted 4:http://advances.realtimerendering.com/s2016/s16_Ke.pptx
1.拿stencil 标记这些高频颜色
2.根据stencil,在做TAA的时候跳过这些颜色。这样这块区域就和处理了TAA的区域有明显的差别,边缘有颜色裂缝
3.根据stencil,对这些颜色做模糊。 (因为TAA多少都有模糊,对TAA没有处理的这些区域,单独做模糊可以去掉裂缝)
大概是这个过程。属于比较hack的workaround。看起来还可以,但是,最大的问题是,这种修复方法需要: 见哪儿修哪儿,也就是要靠人肉处理,看到哪个地方有问题,就打标记。缺点如下:
1.人肉工作量可能很大(美术、QA)
2.覆盖度问题。没看到的地方,可能也有问题但是没处理
INSIDE的TAA对ghosting处理的效果要好点,但是整体更加模糊,清晰度没有UE4好。
http://twvideo01.ubm-us.net/o1/vault/gdc2016/Presentations/Pedersen_LasseJonFuglsang_TemporalReprojectionAntiAliasing.pdf
目前看来TAA效果还可以,但是存在的问题不太好处理,也不支持VR。
MSAA对于deferred管线来说来浪费显存和带宽。
另外也看了UE4的AGAA的ppt,虽然效果不错,但是对渲染管线的侵入和改动太大
由于上一帧历史是累积的,是由上一帧的直接渲染结果和上上帧的结果做了合并,所以ghosting并不是一帧就消失,要累积一段时间才会消失。
处理ghosting有很多方法,比如depth based rejection和velocity weighing, 现在最流行的方法,大概也是最好的方式是用neighbor AABB clip。
1.首先取当前帧,当前像素周围的几个颜色,比如4个颜色,得到最大值和最小值
2.用最大值和最小值构建AABB,(比如RGB空间的包围盒)
3.用这个AABB去clip 上一帧相同位置的像素颜色,把差别比较大的颜色拉得接近
这个做法整体效果不错,但有一个问题非常恶心。就是如果当前帧的颜色比较高频的时候,AABB clip会没有效果。举一个极端的例子:
(0,0,0)
(1,1,1) C (0,0,0)
(1,1,1)
比如当前帧里包含黑白噪声,那么对于一个像素C, 周围的颜色如上图。
得到的AABB,最小值RGB(0,0,0),最大值(1,1,1)
这个AABB已经覆盖了整个RGB空间(LDR),所以拿他对上一帧的历史颜色做clip的时候,所有颜色都在AABB内,颜色都会留下来,结果就是还是有ghosting。
目前还没看到很好的解决方法。去年(2016)SIGGRAPH2016上naughty dog的一个slide提到了一种解决方法:
Temporal Antialiasing in Uncharted 4:http://advances.realtimerendering.com/s2016/s16_Ke.pptx
1.拿stencil 标记这些高频颜色
2.根据stencil,在做TAA的时候跳过这些颜色。这样这块区域就和处理了TAA的区域有明显的差别,边缘有颜色裂缝
3.根据stencil,对这些颜色做模糊。 (因为TAA多少都有模糊,对TAA没有处理的这些区域,单独做模糊可以去掉裂缝)
大概是这个过程。属于比较hack的workaround。看起来还可以,但是,最大的问题是,这种修复方法需要: 见哪儿修哪儿,也就是要靠人肉处理,看到哪个地方有问题,就打标记。缺点如下:
1.人肉工作量可能很大(美术、QA)
2.覆盖度问题。没看到的地方,可能也有问题但是没处理
INSIDE的TAA对ghosting处理的效果要好点,但是整体更加模糊,清晰度没有UE4好。
http://twvideo01.ubm-us.net/o1/vault/gdc2016/Presentations/Pedersen_LasseJonFuglsang_TemporalReprojectionAntiAliasing.pdf
目前看来TAA效果还可以,但是存在的问题不太好处理,也不支持VR。
MSAA对于deferred管线来说来浪费显存和带宽。
另外也看了UE4的AGAA的ppt,虽然效果不错,但是对渲染管线的侵入和改动太大
相关文章推荐
- 【酷熊科技】工作积累 ----------- unity scrollview 点击后会有偏移问题(有图片)
- 工作问题积累(二十五)虚析构函数的是怎样的实现原理?_BLOCK_TYPE_IS_VALID
- OpenStack块存储nova-volume工作机制和相关问题
- 工作中mysql相关问题罗列(一)
- 工作问题积累(十六)动态改变网页中的内容,向网页中添加文本
- 由于本人不再从事Kinect相关的开发工作,有关与kniect的问题没有办法一一回答,本专辑不再更新。
- 工作问题积累(二十二)未声明的标识符问题集合(大家可在下面评论中提供你们出现的问题)
- 工作问题积累(五)有效解决丢失和已加载msvcp71.dll出错问题
- 工作问题积累(二十)销毁windows对象时,使用DestroyWindow而不是delete C++
- [工作积累] shadow map问题汇总
- OpenStack块存储nova-volume工作机制和相关问题
- 工作问题积累(十一)如何解决"应用程序无法启动,因为应用程序的并行配置不正确"问题
- 前端工作面试HTML相关问题
- 今天工作中遇到的根据用户id取得产品大类和相关小类的问题
- 好长时间上不了博客,我还以为因为我发表抗日言论账户被删了,编程中好多新经验新发现不能拿出来和朋友们分享,那个急呀。以下是我在工作中积累的一些经验和解决的一些问题,希望能对大家有一点帮助。
- 工作问题积累(二十六)程序打开网页 ShellExecute
- 工作问题积累(六)截屏并且保存 VC++
- 工作问题积累(二十七)复制功能(文本)
- OpenStack块存储nova-volume工作机制和相关问题
- 分享工作中遇到的问题积累经验 事务日志太大导致insert不进数据