【光谱渲染】会是一个新的系列,根据自己业余和朋友一起做的一些讨论、尝试、探索不定期更新

关于光谱渲染的一些资料整理

从更早对渲染和色彩科学都做过一段时间科研开始,到去年的毕业论文开发和写作、再到工作后的一些业余的思考和与朋友们的讨论,对光谱渲染越来越感兴趣——可以说是渲染+色彩科学这两个我短暂的科研生涯里最重要的两个词,产生有机结合的最终形态,也是解决现在CG创作中许多色彩、光学问题的一个“终极答案”。

因此,在工作中做更加要求性能、美学平衡的工程问题的同时,在业余的时间更愿意将时间投入到这样的一些相对“远未来”的工业界应用可能性的尝试与探索中(尽管工作之余的绝大部分时间其实还是用来休息的)。这一“学术兴趣”与仍在学术界的不少朋友都有不谋而合,或是更倾向影视工业界的研究,或是在图形学术界的新尝试……

去年还因此开坑信誓旦旦试图为中文世界翻译那两篇最重要的光谱渲染Talk。不过经过毕业年+初入工作的一些心态和认知变化,深觉语言其实并不是学术idea转化为生产力可能性的阻碍。因此决定,还是以文献的整理为主,加以个人的一些主观分析来作为光谱渲染研究的一些阶段性分享吧。

(还有一些正在投入开发尝试的idea期待未来能放上来吧(继续挖坑

Siggraph talk 综述

Spectral imaging in production | SIGGRAPH 2021 Courses

Practical aspects of spectral data in digital content production | SIGGRAPH 2022 Courses

仍然是这两篇Talk首当其冲,非常完整全面地综述了光谱渲染的必要性、基本原理和工业界实践经验。

Practical Aspects of Spectral Data in Digital Content Production - SIGGRAPH 2022 - YouTube

对应的视频版,配上原PPT更详细一些。

实现参考

学术界

Radiometry, Spectra, and Color (pbr-book.org)

PBRT4加入了非常完整、标准的光谱渲染器实现,可以说是学术研究用渲染中最完善的之一,也在相应的PBRBookV4中有足够详实的实现说明,不可多得。可以说如果要在离线域做光谱渲染相关的尝试,完全可以在PBRT4上做修改来实现了。

The ART Homepage @ CGG (cuni.cz)

捷克Charles大学CGG实验室的光谱渲染研究用渲染器,该实验室产出了多篇关于光谱渲染中荧光这一核心优势表现相关的Paper(Journals & Conferences | Computer Graphics Group (cuni.cz))。

工业界

Manuka | Wētā FX (wetafx.co.nz)

Spectral Rendering in Manuka (dreggn.org)

Weta Digital的Manuka,几乎可以说当前工业界在使用的唯一完善的光谱渲染方案,有非常多有价值的工程参考。

更早的Maxwell则没有得到过工业界的大规模使用。

其他

Simon’s Tech Blog: Spectral Path Tracer (simonstechblog.blogspot.com)

本人最早了解学习一个完整的光谱渲染器实现方式读到的一篇个人博客,非常简洁的一个光谱渲染实现介绍。

Research

个人认为,光谱渲染更接近物理的优势自不必说,但其核心的问题在于效率问题,因此学术界解决的绝大部分问题本质上我也认为是不同层面的效率问题,我将其做了一些简单的分类:

  • 采集光谱数据的效率
    • 材质侧,基本只能通过RGB上转Spectral来实现有规模地采集
  • 计算过程中的效率,当前的光谱渲染计算基本是通过更大规模的蒙特卡罗采样实现,因此计算规模过大,内存、算力都非常吃紧
    • 采样上的优化,光谱侧的重要性采样等
    • 仅针对特殊材质做光谱渲染,做材质侧的选取优化
    • 光谱渲染算法本身的近似优化(个人最近比较关注的)

关于RGB上转Spectral的工作

Spectral Primaries (geometrian.com)

Metameric: Spectral Uplifting via Controllable Color Constraints | ACM SIGGRAPH 2023 Conference Proceedings

光谱渲染效率上的工作

A Compact Representation for Fluorescent Spectral Data 用GMM压缩“fluorescent event”(荧光现象,作者定义为光传输过程中会发生光谱shifting的现象)中的二维光谱查找表,主要体现在内存的优化上。

Efficient Storage and Importance Sampling for Fluorescent Reflectance 上一篇的上刊版本,图更丰富。

Spectral imaging with deep learning | Light: Science & Applications (nature.com)

光学领域的光谱工作,很值得参考。用NN压缩光谱数据。并提供了光谱数据集的一个偏综述的整理对比:

关于其他Light Transportation探索的一点看法

近年来诸如波动光学渲染方程等更“物理”的光传输模拟也在陆续出现,而光谱渲染也被认为是同种“更进一步”模拟光传输的方式。但个人认为它们对光模拟的本质是不一样的,前者更侧重的是单波长光、和多种单波长光之间的物理现象,而光谱渲染则是现实中混合光本身的分布、混合光由物理量被转换为感知量(进入人眼)后的多种问题的综合。可以说前者会颠覆现在使用的Rendering Equation,而后者则可以几乎无缝地适配于任一种Rendering Equation,而且是工业界已经有许多case发现了光谱渲染的刚需的,要离当前的生产近得多。