Posts

My 2024 这里终于还是从希望中的“技术博客站”变成了每年找一个阳光流淌的午后记一些看似总结的闲言的地方。 前几日刷到微博，说发现第一起新冠已经是五年期内的事了。疫情三年上班两年，已经占了短短二十三年的五分之一有余，但感知上真成了一眨眼。可能是疫情里的浑浑噩噩，可能是上班后的按部就班，也可能是随着年龄增长，未来每年都将会是衰老最快的一年了。 没有了在夹缝中读书、就业太多的风云莫测，2024只潜移默化地留下了一些感觉：无论从宏大叙事里看到多少悲观与沉默，还是看到或许盲目的乐观与冲动，都成了难以触及的焦外，最终只能聚焦到是自己人生进入每天上班下班的新阶段之后的微观之中了。 上班 毕业后的主线几乎只有工作，所以一年的主要步伐、“人物弧光”都必然发生在工作中。但工作性质要求并不方便在公开平台分享工作内容，只能脱离具体的事例而只谈抽象的感受。因而这样写起来就如同一口痰闷在喉咙里做演讲一样难受，自己读起来也味同嚼蜡似说教一般。但写了又删除又加回来，总觉得作为主线而言还是不得不留几句在这篇总结里。 上班的时间感知彷佛被无限压缩，每一周的五天都在倏忽间流淌而过，充实不觉疲倦。去年的年终里写道工作中最重要的感受其实是熟悉了工作的节奏、与在学校做事情的差异。而今年则自以为已经在成长为一个“熟练工”的路上，去年接近年底发了一张隐晦的“100”截图，今天再登录平台看，已完成的单子数量已经悄悄来到了一个令人惊愕的数字。同时也在项目中承担了越来越多的工作，因此也逐渐开始有了一些更具体、更全局一些的视野。 在具体任务上做开发面临的技术问题，现在看来其实都已经是相对简单的问题——这个简单并不是指技术的难度，而是说这件事很纯粹、单一，“Just do it”就行了。而这快两年里接到的、看到的技术问题，问题可能越来越难了，但却越来越少会给我带来“畏难情绪”了。也许是因为已经处理了那么那么多问题，已经有了一点“妖魔鬼怪皆是纸老虎”、只需从容稳步推进便总有柳暗花明的自信了罢。 但这一年里，尤其快到年底有了一些工作上的小变化，越来越让我觉得在“复杂度”上要更高的，是“在庞大中做微小的事”。从最“简单”的代码的层面，将一个新功能安全、稳定、高效地塞进经年累月的沉积代码之中；到人的层面，如何在沉积了这么多人这么多年的庞大产品和生产结构中，稳健又不失创新地产出、怎么在其中抓主要矛盾而摒弃次要矛盾，是我越来越看到、但暂时还不太需要我去决策的复杂度。 下班 上班下班的两相分明、规律重复确实让大脑逐渐变成《人生切割术》里残缺的样子，但还好我的两瓣暂时还存在同一个记忆内。在比起许多同行已经算不上寥寥的下班那瓣里，我尝试了许多方法去熬过贫瘠的时光，试图让它变得不那么轻飘飘，试图在漫长里找到一些永恒的瞬间。 旅行 最成功的尝试是出门旅行，之所以不说“旅游”是因为我更希望在一个不同的地方作为一个普通的行人去“行”，而不是千里迢迢的游客去“游”。 其实因为经济原因，或者是视野原因，从小我是没有什么出行的习惯的，去北京考试已经是我第一次离家一千多公里，在疫情中度过的可怜的大学生涯也几乎没可能出趟远门。这一年我从办护照开始，才去了港澳、土耳其、新加坡，周末还在江浙沪周边反复游荡…… 旅行在这一年对我而言，最重要的是让生活的这个世界更有实感一些，能去打破一些三点一线的上班生活带来的，强烈的“楚门的世界”即视感。在伊斯坦布尔和几十人挤在拥挤的加拉达石塔上看日落，爬到荒野的野长城寻迹东罗马，或是只是在布鲁斯海峡边的街角小馆里吃着不那么合胃口的海鱼、和老板用两方都很蹩脚的英语聊一句差半句；在爱琴海边自驾忘记切自动挡、打着二档在盘根错节又曲径通幽的山路上开了一个小时，学着当地人瘫在蓝得深邃的海水里蛄蛹、一口一口吐着齁咸的海水……这一切使我在虚浮的生活中感知到自己行走在一个真实存在的世界，而不是一部幻想集：欧洲的阳光真的有更低的色温，小时候读了许多故事的罗马真实发生在环地中海，爱琴海也真的如《穿越无尽海洋前往月球》里那么蓝。 另一个重要的意义则是与工作关系以外的人见面。疫情这几年让我们见面的机会越来越少，而工作中又几乎只有处处透着“效率”的冷峻面孔。虽然我并不算彻底的“E人”，但作为群居动物而言，还是越来越珍惜今年相对容易的见面机会。无论是什么阶段的朋友来到上海，我总会希望找他吃顿便饭；过生日那天还有最好的兄弟特地跑来上海一起欢饮；去各个城市见朋友，杭州跑了快十趟，临近年底还几分钟内说走就走了横店……；又或是一起结伴出远门，在新的地方聊着过去与未来；甚至临途与陌生的店主/路人搭句、问路，在演出现场与数千陌生人一起为陌生或熟知的乐手跳跃呐喊。所有这些时光格外深刻又清晰，才组成了这一年作为社会动物行动的我。 兴致 最不成功的尝试是选择了一些自以为能坚持，但事实上连三分钟热度都没有的目前还不适合自己的短暂的“兴趣”。这一年跟着朋友去了一些现场演出，不断地被扯动着几经干枯的情绪，也是今年高度让我觉得有“活着”感觉的瞬间之一。于是冲动下单了一款乐器，但可能是缺乏音乐相关的任何训练经验、又几乎没有重复练习任何事物的耐心，加上虽然总是无所事事却又总觉得闲暇时间有限要尽可能做更多事，自然目前还是处在吃灰状态。这也是一种“乘兴而来，兴尽而返”罢。 而最近在做的有效尝试是，在自己熟悉的领域找一些逻辑类的书本，来强制治疗自己在视频信息流中不断衰败的大脑。 尽管加班并不多，下班到家时间也尚早，往往仍只有精力、或者说只有动力“吃一些快餐”，快速摄取一些充满垃圾的碎片信息流。无论是让自己尽可能看长一些的视频、还是多看些影片或剧集的尝试，都很难战胜坐在55寸HDR屏上看着6寸小屏都会觉得劣质的内容。反复挣扎之后，决定放弃——只有脱离一会能获取到垃圾信息流的介质，才能一定程度上缓解，又继续起工作以来反复尝试了许多次也未能成功重新拾起的阅读长文本的习惯。 这次我的尝试是看实体书本以阻断碎片信息流的无缝介入、先读逻辑丰富的论述类文本而非故事类文本以防止难以战胜那些这两年的网络上太过分容易获取的“故事”。事实证明，这次相对有效一些——至少每天上班路上，强迫自己呼吸一些户外阳光的40分钟步行途中，能保证稳定的长文本摄入了。至于选择的书籍类别，自以为并没有那么浓厚的兴趣钻一些过分晦涩的社会理论，于是还是从自己最熟悉的影像、文化、内容领域入手，有上学时自知阅读匮乏的创作导向的书籍，有这些年大家对信息文化传播方式剧变带来的对内容的反思（也是一种通过强化自己信念感来战胜无孔不入的信息流涌入的手段吧）等等。 “电影” 最后说两句难割舍的电影。其实在我这里，“电影”一直都是一类相似体验内容的概念，而不只是坐在剧院里观看的主被动放映的矩形平面影像作品。 很多声音在说电影已经“完”了，我也在说。但我始终认为会“完”的可以是内容形态、商业模式，而不是人的需求。“以更沉浸的方式摄入故事内容”这一本质需求求在我看来很难消亡。尽管大家看来被“更高效地摄入故事内容”击败得无法还击，我却认为这其中有一些叙事主体的错位——所谓的“更高效”在我今年的视角看来其实还代表着“更高的触达率”。 今年有感触的是我爷爷奶奶，他们是传统意义上真正的文盲，从小没有读过一页书的那种。但在今年初在家过年时，他们问我要走了一部旧的智能手机，我给他们安装了几个只需简单划动的短视频APP。这一年里，我常回家得到的反馈和认知就是，他们获得了以前从来没有手段获得的、来自全世界的“故事内容”。开心于能为他们同样难熬的老年生活带来一些新东西至于，我惊讶又思索许久才得出了这样的结论——“以更沉浸的方式摄入故事内容”首先是“比个体之前能获得的摄入故事内容的方式更沉浸”。 这后来也让人联想到我现在参与生产的作品，它不是什么惊世骇俗的逆天之作，也没有太多前人从未企及的视听体验，但是我们在工作中花了非常多精力做的事情，使它能够将不错的类“电影”体验带给到不同设备条件、不同国家地区、不同文化背景的大家。（说了半天还是回到了工作。）在这一层面上，我们也是在以“更高的触达率”的方式给更多人提供“比之前更沉浸的方式来摄入故事内容”。这让我又进一步“convince”自己现在做的事情。 至于在只有极少数人能追求的“沉浸叙事的先锋地界”，这两年确实因为环境的变化、与那些“高触达率”方式无法避免的入侵遭到了不少的削弱甚至逆行，但我仍相信，只要“摄入故事内容”这一精神文化需求还存在，“以更沉浸的方式摄入故事内容”的追求还会在人们心中占有一席之地（哪怕是比起很多重要的事暂时可以降低优先级的边隅一角），“电影”终会以我们可能未曾设想的形式继续前进。 PLOGs 最后的最后，这一年里幸运的是随着口袋到处跑的GR3x帮我记录下了许多或刻意或随意的影像，每个月随机地摘了几帧列在这篇总结的末尾聊增意味罢。 仍然喜欢洒在屋里的阳光，愿2025能有更多瞬间，即为永恒。 January. Cherish. February. Psychedelic. March. Go Different. April. Escape. May. Fireworks. June. Family. July. Normal Life. Augustus. Friends. September. Force Majeure. October. World Reality. November. Restlessness. December. Happiness.

【光谱渲染】会是一个新的系列，根据自己业余和朋友一起做的一些讨论、尝试、探索不定期更新 关于光谱渲染的一些资料整理 从更早对渲染和色彩科学都做过一段时间科研开始，到去年的毕业论文开发和写作、再到工作后的一些业余的思考和与朋友们的讨论，对光谱渲染越来越感兴趣——可以说是渲染+色彩科学这两个我短暂的科研生涯里最重要的两个词，产生有机结合的最终形态，也是解决现在CG创作中许多色彩、光学问题的一个“终极答案”。 因此，在工作中做更加要求性能、美学平衡的工程问题的同时，在业余的时间更愿意将时间投入到这样的一些相对“远未来”的工业界应用可能性的尝试与探索中（尽管工作之余的绝大部分时间其实还是用来休息的）。这一“学术兴趣”与仍在学术界的不少朋友都有不谋而合，或是更倾向影视工业界的研究，或是在图形学术界的新尝试…… 去年还因此开坑信誓旦旦试图为中文世界翻译那两篇最重要的光谱渲染Talk。不过经过毕业年+初入工作的一些心态和认知变化，深觉语言其实并不是学术idea转化为生产力可能性的阻碍。因此决定，还是以文献的整理为主，加以个人的一些主观分析来作为光谱渲染研究的一些阶段性分享吧。 （还有一些正在投入开发尝试的idea期待未来能放上来吧（继续挖坑 Siggraph talk 综述 Spectral imaging in production | SIGGRAPH 2021 Courses Practical aspects of spectral data in digital content production | SIGGRAPH 2022 Courses 仍然是这两篇Talk首当其冲，非常完整全面地综述了光谱渲染的必要性、基本原理和工业界实践经验。 Practical Aspects of Spectral Data in Digital Content Production - SIGGRAPH 2022 - YouTube 对应的视频版，配上原PPT更详细一些。 实现参考 学术界 Radiometry, Spectra, and Color (pbr-book.org) PBRT4加入了非常完整、标准的光谱渲染器实现，可以说是学术研究用渲染中最完善的之一，也在相应的PBRBookV4中有足够详实的实现说明，不可多得。可以说如果要在离线域做光谱渲染相关的尝试，完全可以在PBRT4上做修改来实现了。 The ART Homepage @ CGG (cuni.cz) 捷克Charles大学CGG实验室的光谱渲染研究用渲染器，该实验室产出了多篇关于光谱渲染中荧光这一核心优势表现相关的Paper（Journals & Conferences | Computer Graphics Group (cuni.cz)）。 工业界 Manuka | Wētā FX (wetafx....

My 2023 转眼又上完了一个月的班，眨眼一看已经2024了。 今年是一个很重要的分水岭，上半年稍显从容，在一点点即将面临社会的忐忑中，浪费完了可能是最后一段能浪费的时光，告别了短暂、遗憾又充满了欢乐记忆的电影学院；然后便在最好的地方上了半年的班，但现在想来像是半个钟头一般，上班的日子总是流走得悄无声息。 浪费与告别没什么好记，“赖”在实验室准备上班的知识、毕业论文做了点自认为有些许价值的东西、参与了一趟远游告别了真诚热烈的影技19本…不如把毕业论文的致谢摘录于此吧，也是对学生生涯的一记小结了。 致谢语 “一个人的命运啊，当然要靠自我奋斗，但也要考虑到历史的行程。”正如四年前意外来到这里，我再一次选择了新的机遇与挑战。我的学生生涯，要先结束了。 这四年，是在阴翳中找寻亮光的四年。在三年疫情和世界局势的日渐不期中，仍能找到自己的一隅之地并上下求索是何其幸运。因而在为自己十余年的求学与区区二十二载的人生点下逗号的此刻，还是不能免俗地向一切幸运逐一致以谢意。 自然还是要先感谢自己，感谢自己无论环境如何变化，仍能保有好奇心和求知欲，仍能对探索未知充满热忱。尽管常有怠惰，也常常胡思乱想，但总有这份冲动能推着自己能向前走几步。 也感谢自己终能在选择的时刻遵从内心，在踌躇、彷徨的十字路口抓住了自己真正的心之所向，坚定不移地走上各种各样的岔路口。 感谢我的家人，在并不宽裕的家庭条件下支持我一路走来，愿意在我迷茫、疑惑时倾听，并努力理解并始终支持着我的所有选择与决定。 感谢从小到大，路上的所有朋友。他们中，有的陪伴着一起度过了美好的学生生涯；有的一起探讨知识与学问，一起贪婪地汲取各种领域的新知；有的在工作中协力相助，一同思考，一同前行；有的在我人生路上提供了新可能、带领我走上了前所未想的路…… 感谢在我生命中留下浓重一笔的每一所学校、每一位老师。十余年的求学生涯里，有人从小激发了我对思考和逻辑的兴趣、又有人引我走入了思辨和质疑的大堂、还有地方用环境和风范为我树立了做人、做事、做学问的标尺。 其中这四年，感谢影视技术系，当初选择这里，是因为热爱，如今选择离开，更因为热爱。因而我从未后悔来到这里，这四年是我在专业学习上、视野和见识上成长最快的四年。 感谢影视技术系所有指导过我的老师。我的论文指导老师顾晓娟老师，从大一就带我开始对科研的探索，点亮了我对技术背后的科学的第一束色彩；而在这篇论文中，也包容我将四年来学过的不同领域知识融合到一起，实现成一个或许能有些许贡献的工作。在大二三两年的科研项目中指导我的陈军老师和赵建军老师，引领我在行业前沿技术的研发中找到方向和价值。还有教过我每一门课、在影视技术系各项科研项目、院系活动中指导过我的每一位老师。 要突出感谢的是愿意把自己课程上传到网络平台的、来自天涯海角的老师们，尤其是GAMES平台及其一系列图形学课程的老师与团队。素未认识的闫令琪等老师，想必已经并将继续出现在全国多少毕业生的致谢中，也是我堪堪能在图形技术圣殿门边踌躇的点灯人。 感谢影视行业、游戏行业的各位前辈、同侪——也始终会是我的老师，感谢他们给我实习、交流、尝试的机会，带领我真正走向实践，走入到我最初心最热爱的内容生产事业中去。 感谢那些好电影，好游戏，感谢他们的创作者。不避讳地说，从2018年的《头号玩家》我才第一次走进电影院开始，便不可收拾地爱上视觉与听觉的沉浸体验，这四年里尽管风云变化，影厅里放着的影片依然耀眼夺目，荧光中的游戏也依然牵人魂魄。 因而真诚地感谢全人类，感谢我们每一个人。数万年来，我们在各种各样的人祸天灾间上下求索，在一次又一次的历史循环中找寻突破，人性卑劣和光辉使我们成为人类，也使我们拥有勇气，拥有一个又一个前所未见的新领域，拥有这样一个世界，使我们看清它，热爱它。真诚期望能为人类命运共同体更美好的明天添几缕光彩。 最后的最后，感谢未来，未来代表着希望，代表着无知，不论怎样走向，未来还会有我、有家人、有朋友、有老师，有知识、追求和全人类的创造。无论日子是否会昏暗，仍然热爱每一天的阳光，“向前，向前，永远不要停”。 虽然去年已经有过实习，上半年也闲暇中开始接触了一些工作会用的工具（Actually上半年才开始接触的Unity），算是对新行业的工作有了几分了解，但2023年6月19日，才能算是我真正到一个线下的办公场所开始坐班的、新鲜又茫然的第一天。 当不知道要做什么时，人便处于一种高度紧张又精神涣散的状态中，只有一项项具体的需求来到你面前，进入到写代码、查BUG的状态中，焦虑便自然无影踪了，剩下的只有写好下一行代码。我的工作状态便从头几天的无措，逐渐稳定了下来。再后来疲劳却尚不算狼狈的MP（MP做完的那天，正好是22岁，于是发了上一则Blog插了一个小桩）、回到项目组后越来越从容地地解决着一个又一个的需求的日子，便过得越来越快… 逐渐开始发现了工作与学生时代的不同，还是会有一个问题要彻底解决了才肯停止的冲动，但逐渐接受了一个事情需要分解成很长的时间去做、接受了一个事情的中间要有打断。当学生时，遇到一个问题、或是想做一个东西的时候，总是想一口气吃完，甚至导致了长段时间的没日没夜、或是很少的休息，乃至吃饭睡觉时被问题萦绕。而工作，不再像学生可以一个人就是一支铁军，需要合作、需要等待、需要给自己固定的放空时间。从去年实习，到今年的工作，甚至常常发现，绞尽脑汁解决不了的问题，给自己一个晚上、一个午休甚至只是一段步行的Break down，回头来看，就在五分钟内迎刃而解了。 学生时代，总希望只用做一些“Fancy”的事情，一切的略显“Dirty”或是在大众眼中没有那么“有价值”的事情都不想做，大家都想去解决电影、游戏项目中的明星问题。但一个真正完整项目的工程体里一定是错综复杂的，此时会发现过去自己以为的那些“Fancy”本质上也是各种“Dirty”的组合、或是“Dirty”亦是“Fancy”的叠加。真正重要的是去做，看着它在最终的成果里悄无声息又耀眼夺目地运作着，才是工作中难得的成就感的来源。 这半年，主要还是在工作上找到了适合自己的平衡态，开始能够不紧不慢地应对一些挑战，也越来越从工作的角度上喜欢上这家公司这个岗位。但也自知是还有很多难题没有到过自己面前，高耸的天花板有同侪顶起；真诚地希望明年能挑起一些今年挑不起的担子，能够更加从容地应对更有挑战的前方；同时在“工作外”也能有新的发现和探索。 而工作外的时间，更希望能探索些自己了。读书的时候，是没有“工作外”的，每天都在找座山爬一爬，每天都会滋生一些莫名的焦虑。因而工作之余，不用每天都给自己找座山爬爬的日子，就希望能还给自己，继续做一些可能没有那么有“现实价值”的课题，去发现新的视野，去发现一些新的快乐… 2023元旦的微博 当然2023仍然是大家口中“未来十年最好的一年”。无论2024走向何方，该去热爱2024的阳光了，“向前，向前，永远不要停”。 关于Blog的更新，其实上半年开了个蛮好的翻译坑，但因为懒惰或是下半年的忙碌，便鸽了。是否还会继续，期待未来【一些可能没有那么有“现实价值”的课题】的进展吧。

22岁，不再是学生。 22岁，不再有+1s。 22岁，Across the xa-Verse。

虚拟制作（Virtual Production）中的景深问题思考 从发现这一问题就在思考如何从源头上的solution。之前和@houjue讨论得到过基本的思路和方法，但一直没有工程实践上的想法。今天旁观一场研讨会再次听到这一问题，突然有了想法，看了UE这部分的实现差不多确定是可以work的。但想安度最后的大学时光，便懒得做了，浅记在这里未来闲了再说吧。 什么问题 简而言之就是LED墙内视锥的虚拟摄影机和真实摄影机的两次景深处理叠加，带来的背景景深错误。具体阐述可见大三时水的《基于LED背景墙的电影虚拟化制作实践探索与未来展望》这篇，不在博客里详述了。 一个基于Unreal的解决方案Idea UE中假定高斯模糊为景深效果的实现方式（实际略有差异），高斯模糊存在以下叠加关系 \(\sigma_1^2+\sigma_2^2=\sigma_3^2\) 时， \(\sigma_1\) 与 \(\sigma_2\) 的两次高斯模糊叠加后效果与一次 \(\sigma_3\) 的高斯模糊一致； 而UE景深后处理的 \(\sigma\) 与 \(CoC\) （弥散圆）相关（线性关系），那同样认为真实摄影机的景深结果与 \(CoC\) 相关，则有 \(R_{CoC_1}^2+R_{CoC_2}^2=R_{CoC_3}^2\) ， \(CoC_3\) 带来的景深效果是最终目标， \(CoC_2\) 是真实摄影机到异形屏对应像素之间的距离计算得到，由此可以算出渲染应得的 \(CoC_1\) 。 怎么获得真实摄影机到异形屏对应像素之间的距离：等效虚拟摄影机视线到虚拟LED Wall上交点的距离 —— 给CineCameraActor绑一个SceneCapture2D直接抓取ZBuffer。 预告一下今年的目标更新，在翻译最近两年关于光谱渲染的两篇Siggraph Course Notes： Spectral imaging in production | SIGGRAPH 2021 Courses Practical aspects of spectral data in digital content production | SIGGRAPH 2022 Courses 目前一天翻不到半页的龟速，主线工作太多。等有一些进度了就放一部分上来。

上一回写“年记”是My 2019了，今年发生的事太多，早就准备写一写，几次提笔，都没能写竟，想想算了还是留到年终来写这篇My 2022吧。 去年元旦，我发了一条微博： 21年两个主要的工作： 上半年一直搞着，但逐渐发现能搞得越来越少的Virtual Production； 下半年就着Presentation的课程，继续前一年没太搞明白的Simulation。 一些杂七杂八的工作： 影院课及课程方案重编工作中，复习/新学了一些东西，Presentation部分新学了一点流媒体的知识； 科工委的技术展示片，早早开始筹备，制作却日常拖到了最后，明天要开始拍摄的部分； 零散地做了一些片子的后期/远程支持，以及极少量的现场工作，也算有一些二维影像的内容产出； 寒暑期照常补充了一些基础科学知识，后来也是不出所料派上了用场； 其他一些更零碎的就不提了。 从19年进入实验室以来，持续了一年多的“精力‘Wireless’”，终于在一个暑假没回家之后，逐渐被大三上课内外的任务压得喘不过气来。 今年只希望能得空做一些想做的工作罢，21年没学完的那些课等等。 今年最想做的，是抛开实验室繁重的日常工作，真的有时间磨练磨练自己解决实际工程问题的能力。 过完春节，三月，接到了这一学期又要从线上开始的通知，大家都没有两年前那样惊讶了，也预料到了开学的概率同样渺茫。在一边准备着本来这学期要拍的最后一次大作业的同时，我开始寻找学校外面的实践机会。 跟着朋友们的步伐，我开始投出了我的第一批实习简历。仍然是抱着想要做电影的想法，先是盯上了几家有名视效、动画公司的RnD、TD岗，很快感受到了学校在业界的光环加成，聊家常一般的面试、快速的Offer沟通。然而，也很快地告诉了我影视行业这两年到底有多艰难的真相——我真的很难接受实习薪资甚至很难cover一个月北京房租和生活费的现实。留着最后一丝的希望，我只留下了一封没有定薪的、方向是刚做过的Simulation的动画公司RnD Offer，想着下半年如果能开学，住在学校宿舍兴许能去看看，虽然后面的计划很快被再一次打乱了。 而三年里多少次念叨过的游戏行业，随后陆陆续续开始推进了流程。由于对游戏制作不算熟悉，尚不清楚自己到底适合什么样的岗位，投递策略是把自己技术栈能沾边的岗都投了个遍，从图程、引擎到技术美术、甚至技术策划等等，堪称“百花齐放”——几乎每家公司投递的都是不一样的岗位。不过很幸运的是，一面就收获了一家大厂的引擎预研课题岗，也最终几乎没有犹豫就选择了这一挑战最大的实习Offer。 因为忐忑自己是否能够胜任实习的工作，4-5月我几乎把所有课余时间都投入到了进一步深入学习渲染、做更多的开发练习，并提前了解预研课题相关的知识上。也正在这期间上海封控，全国各地疫情散发，终于收到公司通知今年全体暑期实习生转为线上。在确认这一学期不会回学校，也取消了短片大作业后，我将自己的实习期提前了一个月，便开始了挣扎与快乐并存的实习两月。 不得不承认，最初拿到没有文档、没有教学的开源引擎作为我的第一步算法验证工具的时候，我就害怕了。虽然从中学就开始写程序，但完全没有在这么大型的代码中穿梭工作的经验。第一天死读源码，头昏脑胀，我甚至和mentor提出了放弃，直接跳到第二步里我熟悉的Unreal去。mentor没有完全否定，只是鼓励我再试试，用过往经验告诉我，前两周一般都是这个状态。第二天，我重新从最基础的案例读起，在发现了各种函数与图形API之间的对应关系之后，我便豁然开朗了——很快，一天内就在案例的基础上搭建起验证的框架来。我建立起信心来，也开始沉迷上这种“初极狭，才通人。复行数十步，豁然开朗”的感觉，这在随后的两个月里不断地重演。 犹记得和朋友聊到这种“真的在学习”的满足感，顿时会心。实习第三周，我第一次开始考虑要不要继续留下读书的问题，是不是工作会带给我更多的成长和满足呢？ 7月初的插曲是保研面试。因为只给保研本专业的限制，看着好朋友参与了十几个夏令营的眼睛只能干着眼发馋。在自己系的夏令营，没有新鲜、没有波折地完美作答，看起来顺理成章地取得第一，只等着那个似乎理所应当的三年绩点排名一。答着那些熟悉无比的题目，答着未来三年我会继续做什么，我意识到未来三年会做的这些事，跟前三年的实验室生活别无他样，也并不能做出我真正想做的东西。 于是我跟着同事们一起卷入了秋招的大潮，看着今年的秋招大崩溃袭来，游戏行业的收缩，不仅呈现在“寒气”的蔓延上，也扎扎实实地呈现在每一家公司的Head Count上。好在我还算是幸运的，开始秋招时还可以抱着有学上的底气。这一次，我没有再犹豫自己应该选择什么岗位，因为实习的经历，我几乎没有犹豫地在每家游戏公司的秋招中投递了游戏引擎、图形渲染的岗位，并很顺利地通过了许多公司的筛选。 实习结束后的那一个多月，几乎每一天，我三点醒来，在床上焦虑到九十点起床、一遍遍地翻邮箱，下午、晚上或是一场两场笔面试，或是杳无音信地焦虑一整天。仅有的慰藉是不像实习期间每天匆匆糊弄一两顿，可以有时间做点好吃的、买点好吃的。 因为专业的艺术背景，也因为自己真正深入引擎开发不过寥寥半年，走到最后还是走到了技术美术道路上来了。其中也包括国内最喜欢的游戏“梦厂”，流转到技术美术流程时，便面临保研结果确认的最后期限了。很感谢帮我反复催促的HR同学，整个秋招里我的流程从来没有如此迅速过：几乎是追赶着笔试和面试，竟真的赶在两周内完成了所有的环节。 这一次，我没有再错过机会。拿到意向书当晚，我做了最后的短暂思考，立刻联系了负责推免工作的老师。他告诉我，刚刚开完会，刚刚系内公示了我的名额。道歉、再次确认，在公示栏张贴之前，将最终的保研名额改为了我的室友。终于，像载着重石的气球脱开了束缚，我睡了个好觉。 第二天，我向这三年里每一位指点过、照顾过我，对我抱有深远期望的老师——也几乎是北京电影学院影视技术系的全体教师了，一一抱歉、道别，一一接受了他们的祝福。我说，“要去迎接新的机遇与挑战了”。 至于在另一家公司的实习，按mentor说往年应是轻松转正，今年却连续遭遇了：流程拖延、引擎招聘计划取消转岗至客户端、TA组邀请转岗至TA等等漫长的变化……跟着实习群里的大家一起焦虑了整整三个多月，直到一切尘埃落定之后的十二月初，才给到了两次转岗后转正的Offer Call。真的很感谢mentor和转岗的mentor的帮助，但真的晚了。 做出决定的背后，是纠结了整个实习期和秋招期的折磨。最终在拿到意向书也是保研确认的前一周，我得到了答案——要从我的大学说起。 高中上得像大学，大学上得像研究生。是一句玩笑，也算得是我这些年的至少半幅写照。 刚来到电影学院的那个学，主旋律是和其他大多数同学一样，投入到剧组中、投入到活动中——有些，是新鲜的没体验过的、也有的则是高中的“大学生活”里已经驾轻就熟的，也是来到这里过得最像“本科生”的一个学期。但也正在这一学期，我发现了自己的积累对于实际的生产应用而言不过是冰山之一角，由于对各种技术的好奇，我频繁地抱怨时间不够用，这也要学那也要学。 随后便是不幸却又幸运的半年——疫情使得大学的第二个学期不得不在家在线上度过。之所以说幸运，是我终于获得了大量的自主学习时间，互联网上也出现了大量高质量的分享课程。于是，我继续着前一学期学不完的那些东西，补着各种数理基础，也开始了早就说过想学的图形学的学习。 这里要特别感谢GAMES，图形学与混合现实研讨会。在疫情的开始，我大学的第二学期开始陪伴至今，我从各门优质的课程中不断地探索图形学的魅力，也正是我早早参与科研、随后又在今年参与工作的重要力量之源。 在这一学期对知识的贪婪汲取之后，我早早来到大二的校园，恰好赶上了系里实验室恢复运作却缺乏人手的时候，也发现了自己学的东西可以“派上用场”的机会。我很快融入了实验室，并又恰好赶上了实验室追逐热点的一个新科研项目——虚拟制作。作为前期参与预研的学生，我迅速成为了这个项目的三位早期核心成员之一，另两位都是与我同年入学的研究生。这正式开启了我大学的“研究生”生涯。 于是，大学的第二年、第三年，我都过上了日常驻扎在实验室、摄影棚，与导师和研究生同学们一起工作，时而需要“溜出来”上本科生课的“Doctor”（绰号）。在实验室度过了一个又一个周末、假日，甚至那年的一整个暑假。 在实验室待了快两年时，我已经是实验室还算比较重要的成员。在我主要参与的那个项目里，不像是项目早期三个人的野蛮探索，逐渐形成了快十人的团队，我也从所有方向都需要了解、负责变成了专注于渲染等细分方向，并且开始做论文、文档性的总结工作。而同时，系里的其他科研项目、创作项目也陆续开始缺乏人手，我开始并行参与多个项目。记得最深刻的一天，我一天内需要解决六个不同项目的不同需求，最终还是找帮手一起才能解决。在此之外，我还同步兼顾着大三繁重的课业…… 我几乎是经历了一个完整的研究生周期——积累理论基础、进入实验室开始科研项目、逐渐找到核心负责的方向、以文字形式呈现一定的成果。还围观并从旁“指指点点”了一年又一年的研究生开题、答辩……我也可以毫不谦虚地说，我在实验室两年的贡献，完全不比工作最辛苦的研究生少。 也许就是阅历尚浅韧性不足吧，正如开头那篇微博所说的，我开始有些不像原先那样眼神里都充满了干劲，写论文、做内容都不再像之前面对未知的开发、探索那样有干劲，尤其是几乎每天都在写文字的那些日子，这让我逐渐厌倦。 我开始回想这些年里不断说服自己留下读书的各种说法，几乎每一个，都被打破或是冲断了： 我一直认为需要不断地换到更好的环境才可以给自己带来足够多的成长机会，当我意识到我这三年可以将西土城校区C楼和G楼地下二层的一切了如指掌的时候，我最初开始期待的研究生生涯是搬迁怀柔校区后从头建立“新一代影视制作中心”的三年。随后，便告诉我影视技术系的搬迁还遥遥无期，甚至就连现在的实验室，也被赶到了隔壁一个没有窗户的封闭仓库。 我又觉得我的科研项目还有许多可以攻克的难题，还有许多有意思的方向，值得我继续与其作战的三年。但就像我元旦的那条微博说的，越来越发觉我们这个行业里，几人的科研团队的力量难以解决这么庞大、复杂的工业问题，越来越发现我们真的只能等待工具的更新迭代，来测试来使用。 最后，我以为一段不需要在课业、科研任务上花费过多精力和时间的时间能带给自己足够多的自主探索时间。我可以在这三年里深入研究一个实时渲染引擎的内在，尝试一个又一个渲染、模拟上的Idea，实现一个个有趣的Feature，甚至，可以像一些优秀的前辈那样自己编写自己的引擎。这是我最后一次能够说服自己继续读三年的理由——就是今年的实习、工程练习告诉我，这条路的成长，有更快的实现方式。作为一个实习期间一下班就完全放松的懒人，在学校的孤军奋战理想显得可笑又荒唐。 既然所有的说法都没再能说服自己留下，接下来的一周我便用尽了全力去面试，获得了那个在现时的我看来闪闪发光的机会。 人一旦完成了选择，就能找到无数的理由鼓励自己，选择是正确的——不再赘列一个个的理由，在最终做出选择的那一刻，我告诉自己：“这条路，又是充满坎坷曲折，但有着更多机会更多可能性的一条路”。 这让我回想起在淋浴间冲着水决定选择南师附中的那个晚上、逃操查成绩并决定选择电影学院的那个课间，选择后的这些年来，我真的看到了各种新的可能，也真的走上了其中的几条有趣的新路线。 因而，我又一次选择了继续相信。 休息了一段时间，又去很近的苏州短游了两天后。我于十月份隔离两周回到学校，因为学校的“常态化防控”，因为他家期待已久的影片未能上映，我没有再去那家动画公司做Simulation的实习。我想趁着上班前，重新作为大学生度过最后的光阴。 同样因为“常态化防控”，及经费问题，今年的实验室也不再有那么多的科研工作，这三个月过上了学累了玩、玩累了吃，随时到DI Room看电影的“温柔乡”生活。 唯一的小工作是重新部署了个人网站，换到了这里。因此三年前的那篇My 2019和今天这篇，都重新发在这里了。 在被“新十条”前最后的封控被赶出实验室后，和几个好朋友，去了环球影城，又去了汕头、广州旅行了十天。 洗净了今年的劳累，全国封控也解除了，真的要重新出发了。 不知如何收尾：2023，希望电影好起来，希望游戏好起来，希望世界好起来；希望能在进入行业后做出好的内容，变得更强大。

2022年10月31日，从Hexo迁移至Hugo 欢迎访问我的个人主页，主页内容主要为学习笔记，目前主要包含 计算机图形学 数理基础 影视技术分享

Lecture22 GPU Driven Geometry Pipeline - Nanite Research Background 传统渲染管线 CPU发起Draw Call，GPU准备State、进入漫长的Pipeline CPU、GPU不同步 存在大量的算力浪费 现代游戏Draw Call越来越复杂，已经成为现代渲染管线瓶颈 “曙光”: Compute Shader：不再需要在CPU、GPU之间来回传递数据，直接在GPU中执行通用计算 Draw-Indirect Graphics API：一次Draw Call绘制多个Mesh GPU Driven Render Pipeline 将场景完整load到显存中，完全由GPU处理：DrawPrimitive -> DrawScene @《刺客信条：大革命》 Mesh Cluster Rendering 将Mesh分成同样三角形数量的Cluster，便于交给GPU做裁剪等计算 不可见的Cluster不渲染；Culling流程： 尽可能裁剪掉不可见的三角形 将可见的三角形组成同一个Buffer GPU Driven Pipeline CPU端： 根据材质不同组合Instance 根据相机距离LoD 打包交给GPU做后续处理 GPU Instance Culling Instance Culling 将（64个）Cluster组成一个Chunk，再次Culling，以加速 GPU Cluster Culling Chunk -> Cluster -> Triangle 一步步裁剪，将视锥外、背面的全部裁剪 Index Buffer Compaction 将可见三角形的依次写入备用Index Buffer 三角形顶点顺序不统一时，可能导致前后帧三角形顶点顺序不一致，由于Z-Buffer精度有限，导致Z-Fighting问题 => 硬件Multi-Indirect Draw Call或可解决此问题 对高精度的Mesh效率非常高 Codec Triangle Visibility in Cube : Backface Culling 每个Cluster存储每个三角形对两个方向的可见性 利用这一数据快速做Backface Culling Occlusion Culling for Camera and Shadow 利用前一帧Z-Buffer的方法： 取当前帧的一部分（如300个）近处大Mesh作为可能的Occluder渲染Z-Buffer 将上一帧的深度重投影到当前帧，用于补充当前帧Z-Buffer空缺处 保守估计Culling Instance -> Chunk -> Cluster -> Triangle 问题：高速移动物体存在一定Artifact Two-Phase Occlusion Culling 快速绘制通过上一帧的Z-Buffer Test的Instance的当前帧Z-Buffer 再利用当前帧不完整的Z-Buffer，测试剩余所有Instance，选出可见者 更加准确 Fast Occlusion for Shadow Shadow中生成深度时对几何细节量敏感 对每个Cascade，将上一帧相机深度重投影至当前帧Shadow深度，并混合上一帧Shadow深度 只有摄影机可见区域内需要生成阴影：只对相机可见的Instance生成Shadow的Z-Buffer Visibility Buffer Forward Rendering：所有互相遮挡、透明的物体需要做重复计算 Deferred Shading：用G-Buffer存储可见Pixel的各种数据，只对G-Buffer做光照计算 G-Buffer的存储、IO开销大 复杂场景下，因为难以判断可见性，在生成G-Buffer时产生Over draw，多次绘制同一像素时开销大 Visibility Buffer： 第一遍渲染时，只在Buffer中存储： (Alpha masked bit, DrawID, PrimitiveID, MaterialID, …) 根据各种ID读取对应贴图，再做重心坐标插值着色 几乎没有Over Draw Cache Miss率低 Pipeline Visibility Buffer + Deferred Shading 一般来说，草丛等复杂细节情况可直接用Visibility Buffer渲染，主角等主要内容Gather到G-Buffer再渲染 注意点：MIPMAP采样时的插值平滑问题 Virtual Geometry - Nanite Overview Virtual Texture Idea：将场景中所有贴图加载到内存中开销非常大，能否只加载可见部分且LoD后精度的贴图 所有材质加载到同一张“大贴图”中，并对整个贴图做MIPMAP 预烘焙这张“大贴图”，并做MIPMAP 根据View区域动态加载所需的部分 Idea of Nanite Virtual Geometry like Virtual Texture 挑战：几何数据是非Uniform的、互相之间可能没有关联性、Mesh数据难以Filter（SDF、Voxel、Point Cloud可以Filter） Voxel ?...

Lecture21 Dynamic Global Illumination and Lumen Part I Dynamic Global Illumination Global Illumination - 略 Reflective Shadow Maps, RSM - 略 低分辨率间接光照加速： 计算低分辨率间接光照 对全分辨率图像的每个像素 获得周围四个低分辨率采样 通过法线和世界坐标位置判断，采样间差异过大时剔除 双线性插值 以全分辨率重新计算剔除的像素 Light Propagation Volumes, LPV - 略 Sparse Voxel Octree for Real-time Global Illumination, SVOGI 如何组织voxel的分布？ 硬件保守光栅化：对很小的三角形，保证其至少有一个voxel 八叉树存储 Shading with Cone Tracing in Voxel Tree 着色点根据BRDF发射Diffuse和Specular的Cone 根据Cone尺寸查询树结构获取光照 - 非常适合Hierarchy结构存储的光照数据 NVIDIA的工作，GPU表达非常复杂 Voxelization Based Global Illumination, VXGI 更关注相机视锥内的区域、更关注近处的区域 Clipmap，voxel版的Mipmap 利用Clipmaps存储voxel数据 重心区域使用更高分辨率voxel 更适合Cone Tracing 建构简单、读取简单、GPU Friendly… Voxel Update：空间网格位置固定，只需要更新相机周围的Voxel Voxel具有Opacity（透明度），表征Voxel内有多少Surface可以阻挡光线，需要计算三个方向 对屏幕空间每个像素做Cone Tracing（Diffuse、Rough Specular、Fine Specular） 问题： 错误的遮挡关系，简单使用Opacity来表示 Light Leaking：遮挡物薄于Voxel时 Screen Space Global Illumination, SSGI Reuse screen space data <- Screen Space Reflection, SSR SSR：单根光线，构建反射 -> 多方向多根光线，构建GI 对Depth Buffer做Raymarching，Hierarchical Tracing 参考SSR笔记 Reuse近邻像素 做Cone Tracing，相当于对Tracing到的屏幕范围的像素做一次Filtering 优势：快，质量高，没有遮挡问题 问题：缺少屏外信息，重用近邻像素带来的错误Visibility 独特优势： 易于处理非常近的接近阴影 准确的Hit点计算 对场景复杂度不敏感 可以处理动态物体 Part II Lumen Real-time Ray Tracing的问题：...

PS: Lecture17-20主要涉及[机器学习]、[网络架构]、[面向数据编程]，与本人图形方向相离较多，故仅浏览学习，暂无笔记 Lecture16 Gameplay Systems - Basic Artificial Intelligence Navigation 三个步骤： Map Representation 地图表达 Walkable Area 需要考虑： Physical Collision Climbing Slope/Height Jumping Distance … 难以完全模拟人的可行路线，需要一定的限制，类似“空气墙”； AI Agents和Player的可行区域相同 Waypoint Network 路网，类似地铁线路图 寻找最近的路点 易于实现，快速寻路不够灵活，路网需要手工标注 Grid Square / Triangle / Hexagon 其中Square相对易于存储 易于实现、均匀数据结构、动态可更新 精确性依赖分辨率 密集网格降低寻路性能 内存消耗大 难以处理3D地图（桥梁、隧道等） Navigation Mesh 用简化的凸多边形表示场景 若出现凹多边形，寻路时可能跨越凹边出现在Mesh外区域 优势： 支持3D可行区域 精确 快速寻路 灵活选择起始地、目的地 动态 缺陷： 复杂的生成算法 不支持3D空间，例如空中飞行 Sparse Voxel Octree 空间八叉树 存储量大 寻路复杂 Path Finding 寻找路径 所有表达，都可归为图结构 即在图上找到一个路径，尽可能找到最优（短）路径 深度优先搜索 / 广度优先搜索 消耗比较高，广度优先适合找到最短路径...