影视制作中的最新进展与应用

学术界发展动向

在讨论影视工业中物理模拟的最新方向之前，我们先看看学界这两年都在做什么——技术的发展顺序大部分情况下都是先从学术界开始的。

我整理出了近三年国际图形学顶级学术会议Siggraph发表的论文中，基于物理的动画方向的所有论文：

Siggraph 2021

TOG:

SIGGRAPH 2020

TOG:

SIGGRAPH 2019

TOG:

我们可以看到，其中就有我们刚刚提到的MPM方法的数学论证和进一步优化。整理下来，整体来说主要有以下几个方面的工作：

  • 特殊材料、特殊问题的新型算法
  • 更加精确的模拟算法
  • GPU/数学优化加速算法
  • 某个方法的数学物理原理

那么我们就前三个（很显然数理原理的分析对我们制作不会太重要：我们知道方法对就行）讨论一下在我们电影制作中的发展方向。

第一个，特殊材料、特殊问题的新型算法。参考《冰雪奇缘》对MPM的应用，我认为这类方法投入工业一般是具备了这两个条件：影片中出现了大量该特殊材料的镜头需要模拟；制作者具备足够的科研能力和时间成本、金钱成本去做工程化实践。因此，这件事我了解到的通常只会出现在一家公司的动画影片中，那就是Disney，尤其是旗下的Pixar公司。Disney不仅拥有非常棒的动画团队，还拥有目前全球可以说最强大的图形学科研团队Disney Research，前面的大量论文那就是他们产出的。同时他们还具有良好的营收情况，适合各种新方法实践的动画创意型影片生产线。这些条件都是很难复刻的。

第二个，更精确的模拟算法。大家都知道，我们做娱乐用途的图形学领域有一句话说：“如果它看起来是对的，那么它就是对的”，我们观影看到各种大楼轰塌、水漫金山，也只是为了“好看”，而不会说“这滴水真的能溅到这么远吗，让我算算”。因此，我认为在模拟方法达到一定精确性的情况下，更精确的模拟算法对影视工业的意义并不很大。更多的用于工业生产的仿真工作中，例如导弹的弹道计算、桥梁的受冲击能力等等，这些更加需要精确性的行业。关于这一点大家也可以提出自己的看法。

最后一个GPU/数学优化加速算法，我认为是对目前影视制作意义最大的一个方向，说白了就是更快。目前视效与动画制作最大的问题就在于速度，无论是物理模拟还是渲染，都是调整一次等待许久才能看到结果的一个离线工作流——当然渲染依托于GPU的渐进式渲染已经可以在很短的时间内看到结果，甚至借助实时渲染引擎已经开始有机会实现所见即所得的实时工作流。而基于物理的动画环节却还差得很远，我认为，物理模拟的实时化也是必然的趋势。

影视/游戏中的物理模拟：实时化的发展趋势

在目前的影视/游戏的FX（特效）中，只有少数游戏具有简单的实时的交互物理动画，例如角色的Ragdoll系统（死亡后自然倒下）、刚体的掉落碰撞、简单的流体交互等等。大部分物理动画都是预先模拟完烘焙好的动画序列。那么在影视制作中，实时的物理模拟能够为哪些流程带来优势呢？

传统的视效/动画工作流

在传统的视效/动画制作中，FX的制作方式前面已经提到。我在这里可以给大家演示一个简单的物理模拟程序，仅仅几十个节点组成的一个场景模拟，在我的5950X主机上，计算一帧就需要约4-6秒的时间。而在我们的影视制作中，一个镜头可能是几百个、甚至上千个节点组成的，其模拟的时间可想而知。在这种情况下，反复地调整参数是一件非常痛苦的事情，很多情况下，就只能靠经验判断。

通过GPU或算法的优化、模型的简化提高模拟速率（甚至达到实时）在这里起到的作用和渲染领域中相似：预览和最终的高质量输出分离，用简化后的快速方法来获得预览画面——预览画面的基本动画要能保证与最终效果是一致的。如此，我们的FX艺术家就可以通过参数的调整，实时地来看参数的结果，从而细致化地调参，来达到更加精细的结果。

电影虚拟化制作

电影虚拟化制作是相对较新的制作方式，从On-set Previz（实时交互预演）到今天的基于LED背景墙的电影虚拟化制作，实时渲染的内容的重要性进一步提升。

在On-set Previz中，我们用实时渲染画面作为预览用的合成背景。在绿幕拍摄现场，通过摄影机跟踪将真实摄影机与实时渲染引擎中的摄影机绑定，使得现场画面的与实时渲染画面的运动匹配，再将绿幕画面实时抠像后作为前景、实时渲染画面作为背景实时合成输出至监看设备，提供给现场制作人员参考。这一流程中的实时渲染背景仅作为现场的制作者预览使用，不会作为真实的成片内容。因此，无论是模拟还是渲染的精度都不需要很高，目的在于告诉摄影师“爆炸的炸点在这”。因此在On-set Previz中应用游戏中常见的简单交互特效是可行的。这样我们可以设计与实时渲染引擎交互的触发装置，让演员能够比较轻松地判断与虚拟物体的交互。

而在基于LED背景墙的电影虚拟化制作中，实时渲染画面需要用于最终成片。在On-set Previz的基础上，我们将实时渲染的场景通过mapping的方式投影至LED背景墙上，那么摄影机内就能直接拍摄得到正确透视、视差的背景画面，我们称为“摄影机内视效拍摄”，直接就完成了合成工作。这也意味着，我们实时渲染引擎产出的画面要用于最终的成片了，对资产的质量要求大大提高了——因此目前，涉及到基于物理的动画的资产，都是预先完成模拟计算、烘焙成动画的，仅在引擎中设计触发播放，无法产生交互。因而，我们也期待着物理模拟的实时化、以及实时化模拟的结果可以很快地转换至Mesh完成实时的光照与渲染，从而实现基于LED背景墙的电影虚拟化制作中的交互物理动画。

总结

通过今天的课程，希望能给大家带来对基于物理的动画的一些认识。我们从视效/动画制作中的FX流程，到粒子、刚体、流体为代表的各种模拟系统发展及其在各类影片中的应用案例，最后我们畅想了一下基于物理的动画在影视工业应用中的发展方向。也算是基本涵盖了基于物理的动画的方方面面了。

我们知道，这门课的内容对大家相对来说有些难，有很多的数学公式、很多的程序代码，要相信，课程的内容对我们俩也是困难的，但我们这几个月来不断地啃书本、Paper、代码，坚持着看教程、做实验，然后尽可能地为大家做简化——已经省去了大量的推导、求解和程序。最后，呈现到大家面前这样一个还算笼统的一个Pre，我们不求大家能完全听懂这个Pre的每一部分，只希望如果我们能展现那么几分在计算机中、在电影中重现物理世界这件事的魅力，能够让同学们对这个领域不再陌生，当进入行业后，如果有人提起相关的话题、工作中遇到相关的问题，可以想到当年有两位同学为我们介绍过，能应和两声，或者是回头想到我们这次提到的一些方法，去搜索学习就已经再好不过了。

最后，我们不可免俗地cue一下近期的热点。我们现在讨论在电影中重现物理世界，电影是一个二维的视觉内容，我们现在经常说要拓展我们的维度、拓展我们的感官，也就是三维的、多种感官交互的内容——也就是我们正在向着电影《头号玩家》的绿洲那样的内容迈进，或者说热点词汇就是我们的“元宇宙”，也就是在虚拟世界中重现物理世界，用到的仍然会是我们今天讨论的这些技术，所以我觉得基于物理的动画既是一个已经发展了数十年的技术领域，也是正在蓬勃发展中，将为我们未来的“元宇宙”提供基础物理定律的一个高新领域。期待引领我们俩进入图形学世界的闫令琪老师口中的“无限月读”的世界能够早日实现，谢谢大家。