SynthEyes 是 Boris FX 旗下的专业 3D 摄像机追踪（Camera Tracking）和运动匹配软件，由 Andersson Technologies LLC 开发，被广泛应用于好莱坞电影、广告、游戏 CG 等视觉特效制作流程中。其核心任务是从一段普通视频素材中反向解算出摄像机在拍摄时的空间运动轨迹和镜头畸变参数，以便在 3D 软件中将虚拟 CGI 元素精准合成到实拍画面上。

功能简述

一、摄像机追踪（核心功能）
  • 自动追踪：自动分析视频中的特征点并计算摄像机运动路径
  • 手动追踪：对自动追踪困难区域可手动添加或修正追踪点
  • 混合追踪：自动与手动结合，提升复杂场景的追踪精度
  • 三向追踪（3-Way Tracker）：同时追踪位置、旋转和缩放
  • 多镜头支持：可处理多个不同机位拍摄的同一场景
二、高级追踪与校准
  • 镜头畸变校正：分析和移除广角、鱼眼等镜头的画面扭曲
  • 摄影测量（Photogrammetry）：从多张照片中重建场景的 3D 点云和几何形状
  • 立体 360° 追踪：针对 VR/AR 内容的等距柱状投影视频做追踪
  • 平面追踪（Planar Tracking）：追踪画面中的平面区域（如墙面、屏幕）
  • 对象追踪（Object Tracking）：追踪画面中特定物体的运动轨迹
三、3D 求解与输出
  • 点云生成：计算出的 3D 特征点云，可用于验证追踪精度
  • 求解器选项：提供多种求解算法，适配不同镜头运动类型
  • 坐标系对齐：将解算出的场景坐标系与真实世界对齐
  • 导出格式：支持导出至 Maya、Blender、3ds Max、Cinema 4D、Nuke、After Effects、Unreal Engine、Unity 等主流 3D 和合成软件
四、自动化与脚本
  • 批量处理：支持对多段视频进行自动化追踪
  • Python 脚本：可通过脚本扩展功能和工作流自动化
  • 预设模板：内置针对不同软件的输出预设
五、适用场景
  • 电影 VFX：将 CG 怪物、爆炸、场景延伸等合成到实拍画面
  • 广告：在产品视频中追踪添加 3D 文字或包装效果
  • 游戏 CG：为游戏过场动画做摄像机匹配
  • VR/AR：处理 360° 视频的追踪和合成
  • 建筑可视化：将 CG 建筑模型合成到实拍场地视频中

特点解析

生产级跟踪与解决

SynthEyes 提供了一套全面的专业相机和物体跟踪工具包，将监督式工作流程与高性能自动化、实时交互式改进、灵活的求解控制和精确的导出支持相结合。

  • 高级跟踪功能，包括自动跟踪、3D平面跟踪和AprilTags，以及用于清理和添加跟踪器的工具
  • 使用几何层次结构跟踪来跟踪摄像机和移动物体，并支持立体3D工作流程
  • 精确的 3D 和 2D 平面跟踪，支持掩码选项和 Mask ML，可实现基于机器学习的目标隔离
  • 利用机器学习运动估计生成逐像素运动矢量，提高自动跟踪精度，减少复杂镜头中的清理工作。
  • 基于 Mocha 技术的仿射感知监督点跟踪，除了平移之外，还能跟踪旋转、缩放和倾斜。
  • 利用直观的选择和组织工具，同时管理多个受监管的跟踪器。
  • 校准多种镜头类型，包括径向四分之三和变形六分之三镜头，并带有动态畸变参数
  • 非常适合 360° VR、动作捕捉以及长时间或复杂的序列拍摄，并内置 360° 稳定工具。
  • 使用实时预览交互式地调整对象和层级运动，并在调整过程中获得即时视觉反馈
  • 使用灵活的求解器设置和求解后清理工具来优化相机和物体路径
  • Align 功能可将解算结果与 3D 数据集模型（例如激光雷达扫描数据）进行无缝集成。
场景导出

SynthEyes 提供强大的导出工具，可将跟踪的场景精确、可控地集成到 3D 和合成工作流程中。

  • Multi-Export 是一个集中式导出中心，可同时设置多个导出场景（例如 Nuke、Maya、Blender）。
  • 内置和自定义预设，允许在用户、场景或设施级别快速应用或修改导出配置。
  • 对象包含/排除功能，可精细控制导出哪些跟踪器或对象，从而减少文件冗余。
  • 持久且灵活的配置，可保存整个导出设置，以便在以后的拍摄中快速重复使用。
  • 支持将项目数据原生导出到 3D 软件，确保无缝传输到 Maya、3ds Max、Blender、LightWave 和 Cinema 4D，且不会丢失数据。
  • 合成集成，方便在 After Effects、Nuke、Fusion/Resolve、Flame 和 Houdini 中创建项目场景。
  • 美元和USDZ出口支持现代管道一体化
  • 灵活的镜头工作流程导出，确保在所有主要格式中导出一致且能识别畸变的镜头。
  • 先进的流程功能，提供灵活的 ASCII 文本导出器，用于导出跟踪器的 2D 路径、3D 位置、相机/物体路径和动画光照。
坐标系设置

SynthEyes 提供强大的工具，可在 3D 环境中定位、对齐和调整整个场景的大小，从而确保场景的世界比例和坐标与工作流程的其余部分相匹配。

  • 自动放置工具会分析场景结构，以创建良好的初始坐标系。
  • 快速精确设置向导：单击 3 个跟踪器，然后重新对齐
  • 灵活的场景级变换工具，可在保持相对运动的同时调整缩放、旋转和对齐方式
  • 轻松手动重新定位和缩放整个场景
  • 用于节点式三脚架和锁定拍摄的基于线的对准系统，或者在其相机设置中使用网格定位工具
  • 基于相机定位的灵活坐标系对准控制和坐标放置方法
  • 约束点（轴控制）视图，用于快速检查和修改所有跟踪器的坐标系设置
  • 当存在多个解时，请使用坐标极性控制选择解。
  • 测量数据的精确度和距离约束，包括不常用的 GPS 航点和现场尺寸测量
  • 坐标系设置可在求解之前或之后进行。
镜头校准

SynthEyes不仅拥有强大的工具来计算求解过程中的畸变，还具备基于镜头网格的镜头校准功能。它能够校正镜头网格，实现“即插即用”的未建模镜头畸变校正，尤其适用于复杂类型的镜头。如果已知网格间距和相机到网格的距离，它还能进行倾斜检测和校正。镜头主校准系统支持线性镜头、反线性镜头、变形镜头以及四种鱼眼镜头。

  • 用于畸变校正的校正镜头网格
  • 针对各种镜头类型的校准
  • 校准方法包括随机点校准
  • 适用于不同工作流程的镜头畸变预设
  • 适用于不同工作流程的镜头畸变预设；使用（全新）工作流程预设管理器可更轻松地进行管理。
几何层次结构跟踪

功能强大且灵活的工具集，可用于跟踪运动部件的多级约束层次结构的 3D 跟踪、直接跟踪提供的网格，或使用普通（监督式）跟踪器。

  • 用于跟踪 3D 中运动部件的工具集
  • 运动链和二级动画的跟踪
  • 利用实时预览功能，对层级运动进行实时交互式细化
  • 与动作捕捉集成，用于 BVH 导出
稳定化

SynthEyes 具有由 3D 解算驱动的普通和 360VR 镜头的集成稳定功能，包括创建用于导出的“物理”装置。

  • 图像预处理器内置了防抖功能，包括普通拍摄（带镜头畸变）和 360VR 拍摄。
  • 由完整的 3D 解算或近似的 2D 跟踪数据驱动的稳定性
  • 根据需要进行手动调整
  • 普通拍摄的自动“变焦”判断（多种模式）
  • 针对非360VR镜头的稳定装置创建器会创建一个“物理”等效稳定装置，以便下游3D软件可以执行实际的稳定操作。
  • 将 360VR 防抖数据直接导出到支持的软件包，包括 After Effects、Fusion 和 Hitfilm。
  • 将 360VR 稳定功能设置为动画纹理球体，以便进行其他导出方式
  • 集成重采样到其他输出分辨率和方面
对象分离

SynthEyes 通过隔离运动对象并排除不需要跟踪的区域，简化了对象分离过程。它将先进的机器学习技术与传统的区域工具相结合，确保仅跟踪关键元素，从而提供更清晰、更精确的 3D 解算结果，并显著减少繁琐的手动抠像工作。

  • 利用 Mask ML 快速隔离物体，它可以跟踪移动物体并生成精确的垃圾遮罩，从而实现更快、更准确的 3D 求解。
  • 自动选择绿屏区域内的跟踪器
  • 使用 Mask ML 或传统垃圾遮罩，可以灵活设置移动物体或角色的区域。
  • 关键帧动画样条线，包括快速设置方形和圆形样条线，用于定义跟踪区域
  • 从跟踪路径导入样条控制点以快速设置区域
  • 样条曲线的动画启用/禁用
  • 支持旋转描摹的 alpha 通道，以实现更精细的对象分离
ViewShift 系统

使用 ViewShift 可以进行复杂的物体移除、合并分割镜头、生成动画纹理贴图等等！

  • 相机映射和渲染系统
  • 使用匹配移动的 3D 摄像机路径和设置模型
  • 移除各种反射网格（不仅限于平面）上的物体
  • 用于在干净的平板上进行操作的快速设置工具
  • 照明补偿以实现更好的匹配
  • 多种定时模式
  • 通过动画样条线或网格轮廓进行控制
  • 预览和合成的各种输出模式
  • 哑光生成与柔化
  • 从网格生成动画纹理贴图
  • 多个独立的 ViewShift 输出
网格输入/输出

SynthEyes 可读取和写入各种网格和顶点缓存格式，确保与主流 3D 和合成应用程序轻松交换数据。

  • 导入/导出 OBJ、C4D、COLLADA (DAE)、DXF、PTS、LWO、XYZ Lidar、SynthEyes SBM 等格式
  • 支持现代管道的美元和美元Z场景及网格
  • 顶点缓存的输入/输出：Alembic (.abc)、Maya (.mcx)、Lightwave (.mdd)、3dsmax (.pc2)
  • 内置网格选项，可快速插入 SynthEyes 场景
  • 网格到跟踪器父子关系可实现网格与运动跟踪点的快速、精确对齐。
  • 动画就绪的头部网格模型可快速追踪头部和面部特写镜头，为数字化妆或美容工作提供预先绑定好的基础。
脚本编写

使用 Synthia 通过键入或语音自然语言控制释放更高层次的功能，或者使用 Sizzle 或 Python 脚本进行更传统的自动化。

  • Native Sizzle 或 Python API/SDK
  • Synthia：一款自然语言助手，可将纯语言转换为脚本命令
  • 通过脚本对 SynthEyes 功能进行修改和扩展，并可直接访问场景和图像预处理。
  • 借助工作流预设管理器，可以更轻松地管理增强的脚本，支持全局或项目级设置。
工作流预设管理器

工作流预设管理器是预设配置的核心，它提供了一个强大且分层的框架，确保整个流程的一致性和灵活性。它通过捕获完整的项目设置并自动化导出管理，为项目选择器和多导出等关键功能提供支持，从而简化即使是最复杂的工作流程。

  • 多级预设管理提供内置、设施、用户和场景级别，可满足各种流程场景的需求。
  • 文件模板和镜头预设功能可以创建灵活的模板和镜头级预设，从而简化工作流程。
  • 预设标签规范文件命名和组织方式，以保持项目和团队之间的一致性。
  • 项目选择器会将您当前的偏好设置保存到可重用的预设中，从而以可复现的设置启动每个项目。

为什么选择 SynthEyes？

简化的导出和兼容性

SynthEyes 可无缝导出至 Blender、Houdini、Lightwave、Nuke 和 After Effects 等行业标准软件，从而简化多应用程序工作流程。它支持包括 USD 和 USDZ 在内的多种格式，能够无缝集成到任何制作环境中。强大的多导出功能和工作流程预设管理器，让配置和自动化复杂的导出场景变得前所未有的轻松，确保项目间的一致性。无论是在快节奏的制作环境中，还是作为独立艺术家进行创作，SynthEyes 都能以最短的设置时间，实现精简高效的工作流程。

专业的镜头校准和精确的场景配置

SynthEyes 的高级镜头校准工具可实现精准跟踪，支持变形镜头、鱼眼镜头和其他专用镜头，包括用于 360 度 VR 制作的镜头。无论是处理等距柱状投影素材还是多机位 VR 设备，SynthEyes 都能提供相应的工具来处理复杂的镜头畸变，确保精准流畅的跟踪。强大的场景配置和变换工具使艺术家能够自信地调整缩放、对齐和方向，同时保持解算的完整性，从而有助于保持正确的世界比例和坐标位置，实现视觉特效的自然逼真融合。这些强大的工具能够帮助用户精准一致地整合镜头，确保从跟踪到最终合成的流畅工作流程。

赋予创作者价值和知识

SynthEyes 为创作者提供价值和知识，是众多行业值得信赖的工具，从好莱坞视觉特效工作室和独立电影制作人到虚拟制作团队、建筑可视化设计师、VR/AR 开发人员和科研人员，都对其青睐有加。我们不断改进工具、工作流程和用户体验，确保 SynthEyes 与时俱进，满足经验丰富的专业人士和新用户的需求，在深度控制、清晰度和响应速度之间取得平衡。无论您是制作高端视觉特效、将 CGI 与实拍素材无缝集成，还是简化制作流程，SynthEyes 都能以极具竞争力的价格提供无与伦比的精准度和效率。我们提供全面的教程、用户指南和工作流程技巧，旨在帮助新手和经验丰富的专业人士快速上手。欢迎加入我们的官方论坛和 Discord 频道，与创意人士交流合作，分享真知灼见。