话题指南
图形与游戏
使用 Metal 与 Apple 图形技术栈构建高性能渲染、游戏、3D 内容和跨平台体验。
这一话题从资源制作一路追踪像素如何到达屏幕，涵盖 Metal、渲染管线、游戏技术、移植、输入、性能与 2D、3D、沉浸式体验的制作工具。
- Session
- 51
- 2026
- 18
- 2025
- 15
- 2024
- 18
这一话题涵盖什么
- Metal 与渲染性能
- 游戏技术、输入与移植
- 3D 资源、动画与制作工具
WWDC 2026
18 场 Session- 为 visionOS App 与空间 Web 设计沉浸式环境了解如何为 App、网站和 SharePlay 体验创建照片级真实感的 visionOS 环境。探索让环境真正具有沉浸感的设计原则，并了解如何创建或采集参考资料、准备高保真 CG 资源，以及制作运动和光照等实时效果。
- 使用 Agent 编码快速完成游戏移植使用 Game Porting Toolkit 4 中新的 Agent 技能，开启游戏迈向 Apple 平台的旅程，大幅加快移植过程。探索如何与 AI 编码助理协作采用 Metal 4、集成 MetalFX，并针对 Apple 硬件调整游戏。了解 Agent 如何使用 Metal 调试工具自主排查 GPU 渲染问题，让你可以专注于最重要的工作。
- 使用 Metal 张量优化自定义机器学习运算利用 Metal Tensor API 和 Metal Performance Primitives (MPP) Tensor Ops 程序库，发挥强大的机器学习性能。了解如何创建可移植运算，利用 Apple M5 和 A19 GPU 中的 Neural Accelerator。学习为 Core AI App 构建自定义机器学习内核，并了解如何高效使用量化数据格式和 GPU 内存优化。
- 使用 Metal 构建实时神经渲染管线了解如何使用 Metal 4 将机器学习集成到实时渲染管线。我们将探索使用 MetalFX 神经降噪获得生产级结果的实用采用模式与最佳实践，并分享 Maxon Redshift Live 的实际洞察。了解如何使用 ML 命令编码器，在图形工作中内联训练和部署神经色调映射器。最后，深入了解新的张量 API，直接在着色器中构建并评估小型专用神经网络。
- 使用 Reality Composer Pro 3 全面提升空间工作流了解如何完全在 Reality Composer Pro 中使用强大的图形化工具套件，构建丰富交互与亮眼视觉效果。学习使用 Shader Graph 创建动态材质、通过 Animation Graph 混合骨骼动画，并使用 Compute Graph 模拟粒子效果。进一步通过 Script Graph 连接 App 交互、使用 Sequencer 协调场景事件，并通过 Behavior Trees 设计智能 NPC…
- 使用 Reality Composer Pro 3 更快迭代空间场景发挥 Reality Composer Pro 3 中用于构建空间体验的强大新功能。了解如何为沉浸式场景添加内容、视觉效果、光照和交互性，全程无需离开编辑器。了解如何直接在编辑器中使用 AI 辅助功能快速迭代。
- 使用 Reality Composer Pro 3 设计无代码游戏了解如何使用 Reality Composer Pro 3 中的 ScriptGraph，为 App 和游戏创建无代码 3D 内容。了解如何利用可视化节点构建动画、创建交互时刻，并加入 SwiftUI 元素，为体验添加对话气泡和其他 UI。
- 使用 Xcode 扩展 Reality Composer Pro 3 功能了解 Reality Composer Pro 3 如何帮助你构建更大、更具雄心的空间项目。学习创建项目专用插件，让你可以编辑自定义组件、运行自定义系统并构建自己的 ScriptGraph 节点，从而完全掌控空间创作工作流。
- 使用 visionOS 27 构建下一代体验使用 visionOS 27 的新能力构建下一代 App、游戏和空间体验。探索在 visionOS 上构建体验的不同路径：使用 Apple 原生工具与框架，从 Mac 或 PC 流式传输沉浸式内容，利用第三方引擎，或移植现有 iOS App。了解如何使用 3D 内容创作、沉浸式媒体和对象跟踪方面的最新进展提升空间计算项目。
- 使用注视点流式传输将沉浸式内容带到 visionOS了解注视点流式传输如何以完整保真度将远程渲染场景交付到 Apple Vision Pro。通过 OpenXR 场景和 NVIDIA CloudXR 演示，探索此框架如何完全无线地结合 visionOS 原生能力与第三方流式传输技术。了解 FoveatedStreaming 框架、与 NVIDIA CloudXR SDK 的集成，以及动态注视点流式传输如何在保护隐私的同时带来优势。
- 在 visionOS 中协作处理结构化 3D 模型了解如何在 visionOS 中生动呈现结构化 3D 模型。我们将介绍 USDZ 准备工作，展示如何操控层级装配中的单个实体，并使用剖切平面检查模型内部组件。在 Apple Vision Pro 上创建亮眼的爆炸视图动画，用于设计审查与协作体验。
- 将 Cyberpunk 2077 带到 Mac深入幕后，了解 CD PROJEKT RED 如何将 Cyberpunk 2077 带到 Mac，为 macOS 上的 AAA 游戏设立新标准。探索团队如何利用 Apple 稳健的硬件、软件和开发工具，生动呈现这种高保真体验。了解如何将类似技术应用于自己的游戏。了解创新的“For this Mac”预设如何自动优化图形设置，在各款 Mac 上平衡视觉保真度与帧率。
- 探索 RealityKit 的新进展探索 RealityKit 的最新进展，让 App 与游戏比以往更具沉浸感和真实感。探索强大的新能力，包括交互式布料模拟、NavMesh 寻路、混合现实光照，以及可自定义的混响网格，以增强空间音频。通过改进的阴影、角色渲染增强功能和对高斯泼溅的支持，提升视觉保真度。
- 探索 Spatial Preview 框架了解新的 Spatial Preview 框架如何将 Mac 内容直接带到 visionOS。了解如何通过跨平台实时同步和双向编辑构建动态工作流。学习 SpatialPreview API、设备发现、2D 与 3D Session 集成，以及可为空间化提升 Mac App 的新 Quick Look 能力。
- 探索 USDKit 与 OpenUSD 新功能深入了解 Apple 平台上 Universal Scene Description (USD) 支持的最新进展，包括基于 Swift 的 USDKit、新的空间预览 API，以及增强的空间 Web 能力。了解 OpenUSD 标准的最新更新如何增加对无障碍功能、高斯泼溅和压缩几何体的支持。我们还会逐步介绍 Mac Preview 中扩展的 USD 编辑与渲染工具，展示如何在自己的 App 中利用这些能力。
- 探索 visionOS 对象跟踪增强功能了解 visionOS 如何推进对象跟踪和空间配件输入。探索跟踪移动物体和手持物体的新方式，连接物理与数字世界。了解新支持的空间配件类别，以及构建自定义配件以在 App 中启用独特交互模型所需的内容。
- 查找并修正 Metal 游戏的性能问题使用强大的 Metal 工具追踪难以发现的游戏性能问题。了解如何使用 Instruments 中的 Game Performance Overview 收集丰富的性能数据、通过 macOS 上的 metalperftrace 和 iOS 控制中心运行后台跟踪，并使用新的 StateReporting API 将指标直接关联到游戏运行时状态。将数小时遥测数据转化为清晰、可操作的洞察。
- 通过触控打造出色游戏深入了解可用于创建引人入胜游戏触控体验的技术。我们将分享从独立游戏到 AAA 游戏开发的专家洞察，探索直观触控的最佳实践，并展示如何利用 Touch Controller 框架和 Metal 等 Apple 技术获得出色性能。
WWDC 2025
15 场 Session- Game Center 入门探索 Game Center 的功能并了解如何开始使用。我们将展示实现成就、挑战、排行榜和活动的最佳实践，以最大限度提高游戏的可发现性、吸引新玩家并提升互动。为了充分理解本 Session，我们还建议观看“通过 Apple Games App 吸引玩家”。
- RealityKit 新功能使用 RealityKit 新功能发挥创造力，为 iOS、iPadOS、macOS、tvOS 和 visionOS 构建丰富的 3D 内容。了解如何直接通过 RealityKit 访问 ARKit 数据。探索如何使用对象操控功能，更自然地与 3D 内容交互。通过交互式示例了解用于场景理解、环境融合、实例化等功能的新 API。
- visionOS 26 新功能探索 visionOS 26 中精彩的新功能。了解增强的体积 API，以及如何结合 SwiftUI、RealityKit 和 ARKit 的能力。了解如何使用更快的手部跟踪和空间配件输入，构建更具吸引力的 App 与游戏。抢先了解 SharePlay、Compositor Services、沉浸式媒体、空间 Web、Enterprise API 等方面的更新。
- 优化 visionOS 自定义环境了解如何使用程序化工具，为 visionOS App 或游戏创建精美的沉浸式环境。我们将分享创建高质量环境的构建模块，然后深入介绍优化过程。了解如何使用 Apple 为 Houdini 提供的一系列工作流，减少场景多边形数量、清理几何体、打包 UV 贴图，并创建可导入 Reality Composer Pro 或所选游戏引擎的 USD 资源。
- 使用 Instruments 优化 CPU 性能了解如何使用 Instruments 中两个新的硬件辅助工具，针对 Apple 芯片优化 App。我们先介绍如何分析 App，然后使用 Processor Trace 深入展示每一个被调用的函数。我们还会讨论如何使用 CPU Counters 的模式分析代码中的 CPU 瓶颈。
- 将 SceneKit 项目带到 RealityKit了解 SceneKit 弃用，并探索如何将 3D 项目迁移到 Apple 推荐的高级 3D 引擎 RealityKit。我们将说明 SceneKit 弃用对项目的含义、比较两个引擎的关键概念，并展示如何将 SceneKit 示例游戏移植到 RealityKit。我们还将探索 RealityKit 在所有支持平台上的潜力，帮助你通过 App 和游戏创建出色的 3D 体验。
- 探索 Apple-Hosted Background Assets在 Background Assets 的基础上，本 Session 将介绍下载游戏和其他 App 内容资源包的新能力。了解如何由 Apple 托管这些资源包，或如何管理自行托管选项。我们将深入介绍原生 API 集成和对应的 App Store 实现，为你提供增强 App 内容交付与用户体验的工具。
- 探索 Metal 4了解如何开始在现有 Metal App 中利用 Metal 4 的强大新功能。我们将介绍 Metal 如何帮助你充分发挥 Apple 芯片的能力，并更高效地对硬件进行编程。你还将了解 Metal 4 如何提供新能力，将机器学习集成到 Metal 代码中。
- 探索 Metal 4 游戏了解如何利用 Metal 4 的最新进展优化游戏引擎。我们将介绍如何统一命令编码以最大限度减少 CPU 开销、扩展图形资源管理以支持大型场景并充分利用内存预算，以及快速加载大型管线状态程序库。为了充分理解本 Session，请先观看“探索 Metal 4”。
- 探索 visionOS 上的空间配件输入了解如何将空间配件集成到 App 中。显示虚拟内容、与 App 交互、在空间中跟踪配件并获取交互信息，以增强 visionOS 上的虚拟体验。
- 沉浸式 App 的 Metal 渲染新功能探索使用 Compositor Services 为沉浸式 App 进行 Metal 渲染的最新改进。了解如何添加悬停效果以突出 App 中的交互元素，以及如何通过动态渲染质量进行更高保真度的渲染。了解新的渐进式沉浸样式。探索如何通过从 Mac 向 Vision Pro 直接渲染 Metal 内容，将沉浸式体验带到 macOS App。为了充分理解本 Session，请先观看 WWDC23 的“探索适用于沉浸式…
- 结合 Metal 4 机器学习与图形技术了解如何使用 Metal 4 将机器学习顺畅融入图形 App。我们将介绍张量资源和 ML 编码器，用于在 GPU 时间线上运行模型，同时执行渲染与计算工作。了解着色器 ML 如何让你直接在着色器中嵌入神经网络，以实现进阶效果并提高性能。我们还将通过示例 App，实际演示用于 Metal 4 ML 工作负载的新调试工具。
- 让游戏更进一步了解如何让游戏在统一的游戏平台上更加出众。我们会为你梳理可用于提升游戏及玩家体验的技术。概览构建、调试和分析游戏所需的基础工具。
- 进一步探索 Metal 4 游戏深入了解 Metal 4 的最新进展。我们将介绍新的光线追踪功能，帮助你将最复杂、视觉最丰富的工作负载带到 Apple 芯片。了解 MetalFX 如何通过提升渲染分辨率、插帧和场景降噪来扩展工作负载。为了充分理解本 Session，建议先观看“探索 Metal 4”和“探索 Metal 4 游戏”。
- 通过 Apple Games app 吸引玩家认识 Games app – 一个让玩家集中了解游戏动态、发现新游戏并与朋友一起游玩的新去处。了解如何设置游戏以在 Games app 中获得最佳可见性、集成 Game Center 以支持社交游戏，并通过 App 内活动吸引玩家持续回归。为了充分理解本 Session，我们还建议观看“Game Center 入门”。
WWDC 2024
18 场 Session- USD 与 MaterialX 新功能探索 Apple 平台上对 Universal Scene Description 和 MaterialX 支持的更新。了解这些技术如何为 3D 内容创作和交付奠定基础，以及它们如何帮助简化出色空间体验的创作工作流。了解 RealityKit 和 Storm 中对 USD 与 MaterialX 的支持、系统自带工具的改进等。
- visionOS 中的 Quick Look 新功能探索 visionOS 中的 Quick Look 如何提升 App 的文件预览和编辑体验。我们将介绍 App 内 Quick Look 与窗口式 Quick Look 的集成，以及一个可在 App 中自定义窗口式 Quick Look 体验的全新 API。我们还会分享在 Quick Look 中查看 3D 模型的最新改进。
- 为 Apple 平台设计进阶游戏了解如何调整高端游戏，使其在 Mac、iPad 和 iPhone 上都自然契合平台。我们将介绍如何让游戏在不同显示屏上呈现出色画面、针对每台设备调整输入和控制方式以保持直观，并利用 Apple 技术提供出色的玩家体验。
- 为空间计算优化 3D 资源深入了解从头到尾优化 3D 资源创作的工作流。探索在数字内容创作工具中优化网格、材质和纹理的最佳实践。了解如何利用着色器图、烘焙和材质实例增强 3D 场景，同时优化性能。使用原生工具更高效地处理资源，并提升 App 性能。
- 使用 Metal 加速机器学习了解如何通过 Metal Performance Shaders Graph 的新功能，加速机器学习 Transformer 模型。我们还将介绍如何提升模型的计算带宽和质量，并在全新的 MPSGraph 查看器中将其可视化。
- 使用 RealityKit 构建空间绘图 App在构建空间绘图 App 的过程中发挥 RealityKit 的强大能力。在创建融合 RealityKit、ARKit 和 SwiftUI 的醒目空间体验时，你将探索资源在 RealityKit 中的工作方式，并了解如何使用底层网格与纹理 API 等功能，快速更新用户的画笔笔触。
- 使用 RealityKit 音频增强空间计算 App使用 RealityKit 音频提升空间计算体验。了解空间音频如何让 3D 沉浸式体验生动呈现。从环境音频、混响到可为 3D 内容增添个性的实时程序化音频，了解 RealityKit 音频 API 如何让 App 更具吸引力。
- 使用 ScreenCaptureKit 采集 HDR 内容了解如何使用 ScreenCaptureKit 采集高动态范围色彩，并探索 HDR 支持、麦克风采集和直接录制到文件等新功能。
- 使用 SwiftUI 创建自定义视觉效果了解如何在 SwiftUI 中创建亮眼的视觉效果。学习构建独特的滚动效果、丰富的色彩处理和自定义转场。我们还会探索使用 Metal 着色器与自定义文本渲染实现的进阶图形效果。
- 在 visionOS 中通过透视渲染 Metal 内容准备好将 Metal 体验扩展到 visionOS。了解通过透视功能将渲染内容融入用户物理环境的最佳实践。了解如何定位渲染内容以匹配现实世界、通过可跟踪锚点预测降低延迟等。
- 将 iOS 或 iPadOS 游戏带到 visionOS了解如何将 iOS 或 iPadOS 游戏转变为独特的 visionOS 体验。通过 3D 边框或沉浸式背景增强沉浸感（和趣味性）。还可以通过立体显示或头部跟踪为窗口增加深度，让玩家更深入地进入游戏世界。
- 将进阶游戏移植到 Apple 平台了解触达全球 Apple 平台玩家可以多么简单。我们将展示如何在 Apple 芯片上评估 Windows 可执行文件、使用代码示例开始移植游戏、将着色器代码转换为 Metal，并将游戏带到 Mac、iPhone 和 iPad。探索可理解 HLSL 着色器的增强版 Metal 工具，以便在 Metal 上验证、调试和分析移植后的着色器。
- 探索 Object Capture 的区域模式了解 Object Capture 的区域模式如何扩展 Object Capture 功能以支持区域采集和重建，从而在 iOS 上提供新的 3D 采集可能性。了解如何使用新的 macOS 重建示例 App 优化 iOS 采集质量，以及如何通过 Quick Look 在 Apple Vision Pro、iPhone、iPad 或 Mac 上查看最终结果。了解 3D…
- 探索 visionOS 中的游戏输入了解如何为 visionOS 游戏设计和实现出色的输入体验。了解系统手势如何让玩家顺畅地与游戏互动，并探索支持自定义手势与游戏控制器的最佳实践。
- 探索适用于 iOS、macOS 和 visionOS 的 RealityKit API了解 RealityKit 中新的跨平台 API 如何帮助你为 iOS、macOS 和 visionOS 构建沉浸式 App。查看新的悬停效果、灯光与阴影以及穿越门户功能，并通过真实示例观察实际效果。
- 深入 RealityKit 调试器认识 RealityKit 调试器，了解这款新工具如何帮助你检查空间 App 的实体层级、调试异常变换、查找缺失实体，并检测代码中的哪些部分正给系统造成问题。
- 认识适用于 visionOS 的 TabletopKit使用 TabletopKit 从头开始构建 visionOS 棋盘游戏。我们将展示如何设置游戏、使用 RealityKit 添加强大的渲染能力，以及只需添加几行代码，即可在 FaceTime 中通过空间 Persona 启用多人游戏。
- 设计出色的 visionOS App了解如何通过采用沉浸式体验、围绕眼睛和双手设计，以及利用深度、比例与空间，创建引人入胜的空间计算 App。我们将分享多个出色的 visionOS App 示例，并探索其设计师如何为该平台构思新体验。