说到短视频特效，大家可能第一时间想到“抖音特效”。
没错，抖音的特效似乎总是很受欢迎，比如用视频让你“回到三岁”：
△视频来源@赖美云
或者一举打破次元墙，PDD会变得更加美丽：
事实上，国内外很多App都在做AI相关的特效技术，但在手机上运行之后，往往最受欢迎的就是抖音。
类似的特效，背后使用的AI技术其实很接近，但抖音制作的特效渲染真实，操作流畅，模型更大众化。
抖音特效长青的秘诀是什么？
特效的创意是不可预测的，但渲染效果和计算时间却可以打磨到极致。
其中，渲染效果取决于CV（计算机视觉）+CG（计算机图形）两类算法的改进，而计算时间则取决于模型的优化。
对于计算机来说，CV算法可以让它准确地“理解”照片的内容。 小到特效的贴合、实时跟踪的准确度，大到整个图像的分辨率提升、风格改变，都属于CV算法的范畴。
合成大菠萝等特效，或者老照片高清修复，或者“重返三岁”、“漫画脸”等整体画风迁移，都属于CV的“职责”算法。
抖音使用的CV算法基本上是自研的。 仅在CVPR 2021顶级会议上，字节跳动就有14篇论文入选，涵盖NAS、图像恢复、行为识别等领域获得冠军。
我们来谈谈CG算法，它可以让计算机创造出看起来像真实的特效，并将其与CV算法结合起来以拟合图片或视频。
与常见的PBR算法一样，只渲染“基本操作”； 电影中常用的粒子系统，抖音也会用于手机特效，除了透明材质、绽放效果……都更接近真实场景，而不仅仅是2D贴纸。
△3D渲染与2D程序火焰效果对比
不过，无论CV算法还是CG算法，模型越大，渲染效果越好。
影视界甚至有一种说法：“如果用专业的渲染算法实现1秒的顶级特效，可能需要连续渲染50天”。
这样的特效模式绝对无法满足用户的实时拍摄需求，更谈不上流畅度。
不过，据火山引擎技术专家杨辉介绍，抖音的5MB渲染效果可以达到与虚幻引擎相当的效果。
没错，为了保证特效运行的流畅，抖音的特效模型被严格限制在5MB以内，方便用户实时使用。
这5MB包含了所有文件，包括模型、纹理、动画、特效和逻辑触发机制……
极度压缩的计算时间背后，是自研渲染引擎+云渲染技术的结合。
在渲染工具方面，抖音没有选择使用Unity或 进行特效制作，而是开发了针对短视频和AR的轻量级渲染引擎。
自研引擎重点增强短视频拍摄所需的特效算法，舍弃了一些游戏专属、短视频不需要的特效，保证渲染效果。
同时，为了特效能够使用更好的渲染算法，抖音开发了自己的云渲染技术，将原本由手机硬件计算出来的特效放在服务器端进行计算抖音特效平台，然后传输实时影响用户。
这样一来，原本在GPU层面计算的渲染效果现在可以在手机上实时完成，效果提升也很明显。
比如渲染算法中的粒子系统只有通过GPU计算才能产生更好的效果（烟花特效）； 相比之下，CPU计算出的粒子系统效果更细（控雨特效）：
△2021烟花特效年防雨特效
但前沿的CV+CG算法和自研工具只是抖音特效秘密的一部分。 爆款车型之所以频频发布，与其成熟的生产工艺和覆盖场景的全面产业化体系密不可分。
火山引擎：技术井喷
一项技术能否常青，取决于它带来的产品能否量产、适用场景是否全面，特效也是如此。 抖音特效已经满足这两个条件：
一方面，根据抖音与火山引擎联合发布的《抖音特效数据报告》显示，2021年上半年，抖音平台平均每天推出100多个特效爆款，用户将每 5 份提交中就有 1 份。 使用特殊效果。
这意味着抖音已经具备了特效制作流程化的能力。 同时，这些特效的质量足以让五分之一的提交使用它们（抖音的日活跃用户目前已达到6亿）。
这也使得特效设计变得更加容易。 在抖音将特效变成“创意生产线”之前，特效设计师并不是一个“低门槛”的职业。 据抖音热门设计师尤阳介绍，他原本是影视后期制作，但后来成为了抖音特效师抖音特效平台，而且他身边也有越来越多的同事加入这个职业。
另一方面，抖音特效技术的应用场景已经不仅仅局限于抖音APP，而是触及到了各行各业。
在汽车行业，特效是用来看汽车的； 在美妆行业，利用特效尝试AR化妆； 在传统媒体行业，数字人技术被用来创建虚拟主持人和虚拟客服……
△AR试妆
可以预见，抖音特效不再是原来拍摄短视频时使用的特效，而是正在逐渐成为一种“创意数字内容”。
出圈的抖音特效，成为字节增长秘密中另一个不可或缺的重要组成部分。
现在，字节跳动把它们全部公开了——以火山引擎的方式。
没错，就像飞书这个字节管理能力“井喷”的产物一样，字节技术能力的井喷带来了火山引擎。
作为字节内部使用的技术平台，火山引擎不仅“储存”了抖音所有特效背后的算法技术能力，还包含了特效从制作、质控到落地的所有工程技术。
在制作方面，为了加快制作速度、降低技术门槛，字节将抖音特效背后的算法技术转化为各种模块化组件。
例如，抖音将常见的CV和CG算法做成组件后，设计者只需拖动阅读条或按下按钮即可在特效中使用此功能。
从训练到推理的算法制作过程，抖音采用自主研发的推理框架和训练平台，保证APP最适合的运行速度。
在质量审核方面，会对特效设计进行分级，资质足够才可以上线； 同时，Byte内部还成立了专门的创新团队，保证算法的前沿性和创新性，设计出更多满足设计者需求的组件（高层会议上有很多论文来自这里）。
落地上，抖音也会考虑用户体验以及不同场景下客户的定制化需求。
例如，抖音采取了针对不同手机性能分级策略、运行速度优化等技术措施，将系统崩溃率降低到十万分之一。
同时采用资源分配等技术，保证用户无需更新软件即可使用新特效； 面对不同的场景，抖音特效还可以适应不同的分辨率、界面类型和机型。
所有这些，再加上前沿的算法技术，共同构成了抖音特效成功的秘诀。
“字节技术没有秘密”
7月28日，火山引擎与抖音联合宣布，将向客户开放同抖音数万个特效。
这意味着字节正在将抖音特效的所有优势，包括算法和道具资源，对外提供技术服务，让更多人享受到这一伟大成就的成果。
目前，当秋地、欣欣APP等不少企业产品已经在使用火山引擎作为业务增长技术。
未来，火山引擎还计划进一步引入端云协同、多人交互等最新技术，提升用户和客户的特效体验。
可以想象，更精细的特效、更多的交互技术将成为抖音未来的发展方向。
同时，特效技术的发展也将进一步给各行业带来更多惊喜。
以影视和游戏行业为例，这两项技术可以大大减少视频后期制作，降低游戏美术成本。 例如，为角色添加马赛克或制作智能地图不需要手动逐帧调整，算法可以自动完成这些步骤。
字节这样公开自己的所有增长技术，是害怕同行的竞争吗？
杨辉说，别怕：
随着时间的推移，任何新技术的进入门槛都会越来越低。 我们能做的不是打价格战，而是扩大和更新技术，保证自身的竞争力。
从这个角度来看，字节跳动的增长技术确实没有秘密。
暂无评论内容