主題指南
圖形與遊戲
運用 Metal 與 Apple 的圖形技術，打造高效能算繪、遊戲、3D 內容與跨平台體驗。
這個主題從資產製作一路追蹤像素如何呈現在螢幕上。Session 涵蓋 Metal、算繪管線、遊戲技術、移植、輸入、效能，以及製作靈敏的 2D、3D 與沉浸式體驗所需的工具。
- Session
- 51
- 2026
- 18
- 2025
- 15
- 2024
- 18
這個主題涵蓋的內容
- Metal 與算繪效能
- 遊戲技術、輸入與移植
- 3D 資產、動畫與製作工具
WWDC 2026
18 場 Session- 使用 Metal 建構即時神經算繪管線探索如何使用 Metal 4，將機器學習整合至即時算繪管線。我們將探索實用的採用模式與最佳做法，使用 MetalFX 神經網路降噪達到正式製作等級的成果，並分享 Maxon Redshift Live 的實際經驗。了解如何訓練及部署神經網路色調映射器，透過 ML 指令編碼器與圖形工作一併執行。最後，深入全新的張量 API，直接在著色器中建構並評估小型的專用神經網路。
- 使用 Metal 張量最佳化自訂機器學習運算運用 Metal Tensor API 與 Metal Performance Primitives (MPP) Tensor Ops 函式庫，釋放強大的機器學習效能。探索如何建立可攜式運算，充分發揮 Apple M5 和 A19 GPU 中 Neural Accelerator 的效能。了解如何為 Core AI 應用程式建構自訂機器學習核心，以及如何有效運用量化資料格式並最佳化 GPU 記憶體。
- 使用 Reality Composer Pro 3 強化空間工作流程透過 Reality Composer Pro 強大的圖形化工具組，完全在其中建構豐富的互動功能與驚豔的視覺效果。了解如何使用 Shader Graph 製作動態材質、透過 Animation Graph 混合骨架動畫，以及使用 Compute Graph 模擬粒子效果。更進一步使用 Script Graph 串接應用程式互動功能、以 Sequencer 協調場景事件，並透過 Behavior Trees…
- 使用 Reality Composer Pro 3 更快反覆調整空間場景探索 Reality Composer Pro 3 用於建構空間體驗的強大全新功能。瞭解如何直接在編輯器內，為沉浸式場景加入內容、視覺效果、光線和互動功能，全程不必離開編輯器。探索如何使用編輯器內建的 AI 輔助功能快速反覆調整。
- 使用 Reality Composer Pro 3 設計無程式碼遊戲探索如何在 Reality Composer Pro 3 中使用 ScriptGraph，為應用程式和遊戲製作無程式碼 3D 內容。瞭解如何運用視覺化節點建構動畫、創造互動時刻，並加入 SwiftUI 元素，為體驗增添對話框和其他 UI。
- 使用 Xcode 擴充 Reality Composer Pro 3 功能探索 Reality Composer Pro 3 如何協助你建構更大型、更具企圖心的空間專案。瞭解如何建立專案專用外掛程式，以編輯自訂元件、執行自訂系統及建構自己的 ScriptGraph 節點，完整掌控空間內容製作工作流程。
- 使用 visionOS 27 建構新一代體驗使用 visionOS 27 的新功能，建構新一代應用程式、遊戲和空間體驗。探索在 visionOS 上建構體驗的不同途徑，包括使用 Apple 原生工具和框架、從 Mac 或 PC 串流沉浸式內容、運用第三方引擎，或移植現有的 iOS 應用程式。探索如何運用 3D 內容製作、沉浸式媒體和物件追蹤的最新進展，提升空間運算專案。
- 使用注視點串流將沉浸式內容帶入 visionOS瞭解注視點串流如何將遠端算繪的場景以完整擬真度傳送至 Apple Vision Pro。探索這個框架如何以完全無線的方式結合原生 visionOS 功能與第三方串流技術，並透過 OpenXR 場景和 NVIDIA CloudXR 示範。瞭解 FoveatedStreaming 框架、NVIDIA CloudXR SDK 整合，以及動態注視點串流如何在保護隱私的同時帶來效益。
- 在 visionOS 中協作處理結構化 3D 模型瞭解如何在 visionOS 中讓結構化 3D 模型生動呈現。我們將介紹 USDZ 準備流程、示範如何操控階層式組件中的個別實體，並使用剖面平面檢視模型的內部元件。為 Apple Vision Pro 上的設計審查與協作體驗，製作令人驚豔的爆炸圖動畫。
- 將 Cyberpunk 2077 帶到 Mac深入幕後，了解 CD PROJEKT RED 如何將 Cyberpunk 2077 帶到 Mac，為 macOS 的 AAA 遊戲樹立全新標準。探索團隊如何運用 Apple 強大的硬體、軟體與開發工具，實現這項高擬真體驗。學習如何將類似技術應用到自己的遊戲。了解創新的「For this Mac」預設如何自動最佳化圖形設定，在各款 Mac 上平衡視覺擬真度與影格率。
- 找出並修正 Metal 遊戲中的效能問題使用強大的 Metal 工具，找出難以察覺的遊戲效能問題。探索如何在 Instruments 中使用 Game Performance Overview 收集豐富的效能資料、透過 macOS 上的 metalperftrace 和 iOS 上的「控制中心」執行背景追蹤，以及使用全新的 StateReporting API，將指標直接與遊戲的執行階段狀態建立關聯。將數小時的遙測資料轉化為清楚且可採取行動的洞察。
- 探索 RealityKit 的最新進展探索 RealityKit 的最新進展，讓應用程式和遊戲比以往更具沉浸感和真實感。探索互動式布料模擬、NavMesh 路徑搜尋、混合實境照明，以及可自訂的殘響網格等強大全新功能，增強空間音訊體驗。透過改良的陰影、角色算繪增強功能和高斯潑濺支援，提升視覺擬真度。
- 探索 USDKit 和 OpenUSD 的新功能深入瞭解 Apple 平台對 Universal Scene Description (USD) 支援的最新進展，包括以 Swift 為基礎的 USDKit、全新的 Spatial Preview API，以及強化的空間 Web 功能。探索 OpenUSD 標準的最新更新如何加入輔助使用、高斯潑濺和壓縮幾何支援。我們也會帶你瞭解 Mac「預覽程式」中擴充的 USD…
- 探索 visionOS 物件追蹤的增強功能瞭解 visionOS 如何推進物件追蹤和空間配件輸入。探索追蹤移動中和手持物件的新方式，連結實體與數位世界。認識全新支援的空間配件類別，以及建構自訂配件所需的項目，在應用程式中實現獨特的互動模式。
- 為 visionOS 應用程式和空間 Web 設計沉浸式環境了解如何為應用程式、網站和 SharePlay 體驗建立逼真的 visionOS 環境。探索讓環境呈現真正沉浸感的設計原則，並了解如何建立或擷取參考素材、準備高精細度 CG 資源，以及製作動態和光線等即時效果。
- 用觸控打造出色遊戲深入了解可為遊戲打造精彩觸控體驗的技術。我們將分享從獨立遊戲到 AAA 遊戲開發的專家見解、探索直覺觸控操作的最佳做法，並示範如何運用 Touch Controller 框架與 Metal 等 Apple 技術，獲得優異效能。
- 認識 Spatial Preview 框架瞭解全新的 Spatial Preview 框架如何將 Mac 上的內容直接帶入 visionOS。探索如何透過即時同步和跨平台雙向編輯，建構動態工作流程。瞭解 SpatialPreview API、裝置探索、2D 與 3D Session 整合，以及全新的 Quick Look 功能，提升 Mac 應用程式的空間體驗。
- 運用 Agent 編碼快速完成遊戲移植運用 Game Porting Toolkit 4 中全新的 Agent 技能，大幅加快移植流程，讓遊戲踏上前往 Apple 平台的旅程。探索如何與 AI 編碼助理協作，採用 Metal 4、整合 MetalFX，並針對 Apple 硬體調校遊戲。了解 Agent 如何使用 Metal 除錯工具，自主排解 GPU 算繪問題，讓你能專注於最重要的工作。
WWDC 2025
15 場 Session- RealityKit 最新功能運用 RealityKit 新功能發揮創意，為 iOS、iPadOS、macOS、tvOS 與 visionOS 打造豐富的 3D 內容。瞭解如何直接透過 RealityKit 存取 ARKit 資料。探索如何使用物件操控功能，以更自然的方式與 3D 內容互動。並透過互動式範例，認識場景理解、環境混合、實例化等多項新 API。
- visionOS 26 最新功能探索 visionOS 26 的精彩新功能。認識強化的立體空間 API，並瞭解如何結合 SwiftUI、RealityKit 與 ARKit 的強大功能。探索如何運用更快速的手部追蹤與空間配件輸入，打造更引人入勝的應用程式與遊戲。搶先一覽 SharePlay、Compositor Services、沉浸式媒體、空間 Web、Enterprise API 等多項更新。
- 使用 Instruments 最佳化 CPU 效能瞭解如何使用 Instruments 中兩項全新的硬體輔助工具，針對 Apple silicon 最佳化應用程式。我們會先介紹如何剖析應用程式，再深入示範如何使用 Processor Trace 查看每一個被呼叫的函式。我們也會討論如何使用 CPU Counters 的各種模式，分析程式碼中的 CPU 瓶頸。
- 將 SceneKit 專案移轉至 RealityKit瞭解 SceneKit 停用的意義，並探索如何將 3D 專案移轉至 Apple 建議的高階 3D 引擎 RealityKit。我們將釐清 SceneKit 停用對專案的影響、比較兩個引擎的核心概念，並示範如何將 SceneKit 遊戲範例移植到 RealityKit。我們也會探索 RealityKit 在所有支援平台上的潛力，協助你透過應用程式與遊戲打造出色的 3D 體驗。
- 探索 Metal 4了解如何在既有 Metal App 採用 Metal 4，充分發揮 Apple 晶片效能、更有效率地控制硬體，並將機器學習整合至 Metal 程式碼。
- 探索 Metal 4 遊戲技術運用 Metal 4 統一指令編碼以減少 CPU 負擔、擴充圖形資源管理以支援大型場景並善用記憶體，以及快速載入大型管線狀態函式庫。建議先觀看「探索 Metal 4」。
- 探索 visionOS 的空間配件輸入瞭解如何將空間配件整合到應用程式中。顯示虛擬內容、與應用程式互動、在空間中追蹤配件，並取得互動資訊，在 visionOS 上提升虛擬體驗。
- 探索由 Apple 託管的 Background Assets本 Session 將以 Background Assets 為基礎，介紹下載遊戲和其他應用程式內容資源包的全新功能。了解如何由 Apple 託管這些資源包，或管理自行託管的選項。我們會深入說明原生 API 整合方式和對應的 App Store 實作，協助你改善應用程式的內容傳送方式和使用體驗。
- 最佳化 visionOS 的自訂環境探索如何使用程序式工具，為 visionOS 應用程式或遊戲建立精美的沉浸式環境。我們將分享建立高品質環境的基本元件，再深入探討最佳化流程。瞭解如何使用 Apple 提供的一系列 Houdini 工作流程，降低場景的多邊形數量、清理幾何圖形、封裝 UV 貼圖，並建立 USD 素材，以便匯入 Reality Composer Pro 或你選用的遊戲引擎。
- 沉浸式應用程式的 Metal 算繪最新功能探索 Compositor Services 為沉浸式應用程式的 Metal 算繪帶來的最新改進。瞭解如何加入懸停效果以突顯應用程式的互動元素，以及如何透過動態算繪品質提供更高擬真度。認識全新的漸進式沉浸樣式，並探索如何直接將 Metal 內容從 Mac 算繪到 Vision Pro，為 macOS 應用程式帶來沉浸式體驗。若想充分掌握本 Session 內容，請先觀看 WWDC23 的「探索適用於沉浸式應用程式的…
- 深入運用 Metal 4 遊戲技術深入 Metal 4 的光線追蹤、MetalFX 放大算繪、畫格插補與場景降噪。建議先觀看「探索 Metal 4」與「探索 Metal 4 遊戲」。
- 結合 Metal 4 機器學習與圖形技術使用 Metal 4 tensor 資源與 ML encoder，在 GPU 時間軸上讓模型與算繪及運算工作並行；透過 shader ML 在 shader 內嵌神經網路，並以範例 App 示範新的除錯工具。
- 讓遊戲更上一層樓認識統一遊戲平台上的技術版圖，以及建置、除錯與剖析遊戲的基礎工具，進一步改善玩家體驗。
- 透過 Apple Games App 與玩家互動認識 Games App – 玩家可在同一處掌握遊戲動態、探索新遊戲並與朋友同樂。了解如何提升遊戲能見度、整合 Game Center 社交遊玩，並以 App 內活動吸引玩家回訪。也建議觀看「開始使用 Game Center」。
- 開始使用 Game Center探索 Game Center，並學習實作成就、挑戰、排行榜與活動的最佳做法，以提升遊戲曝光、吸引新玩家並增進參與度。也建議觀看「透過 Apple Games App 與玩家互動」。
WWDC 2024
18 場 Session- USD 與 MaterialX 新功能探索 Apple 平台對 Universal Scene Description 與 MaterialX 的更新。了解它們如何支援 3D 內容製作與交付、簡化空間體驗工作流程，以及 RealityKit、Storm 和系統工具的相關進展。
- visionOS Quick Look 新功能改善 App 中的 visionOS 檔案預覽與編輯體驗。整合 App 內與視窗式 Quick Look、使用新 API 自訂視窗體驗，並查看 3D 模型顯示的最新改進。
- 使用 Metal 加速機器學習使用 Metal Performance Shaders Graph 新功能加速 transformer 模型，改善運算頻寬與品質，並在新的 MPSGraph viewer 中視覺化。
- 使用 RealityKit 建立空間繪圖 App在建立空間繪圖 App 的過程中運用 RealityKit。整合 ARKit 與 SwiftUI，了解 RealityKit 資源，以及如何用低階網格與材質 API 快速更新使用者筆觸。
- 使用 RealityKit 音訊強化空間運算 App運用 RealityKit 的環境音訊、殘響與即時程序化音訊，讓 3D 沉浸式內容更生動、更具特色。
- 使用 ScreenCaptureKit 擷取 HDR 內容使用 ScreenCaptureKit 擷取高動態範圍色彩，並探索 HDR、麥克風擷取與直接錄製到檔案等新功能。
- 使用 SwiftUI 建立自訂視覺效果在 SwiftUI 建立捲動效果、色彩處理與自訂轉場，並使用 Metal shader 和自訂文字算繪製作進階圖形效果。
- 在 visionOS 中使用透視環境算繪 Metal 內容將 Metal 體驗延伸到 visionOS。了解如何透過透視環境整合算繪內容與實體環境、讓內容對準現實世界，並以可追蹤錨點預測降低延遲。
- 將 iOS 或 iPadOS 遊戲帶到 visionOS把 iOS 或 iPadOS 遊戲轉為獨特的 visionOS 體驗。加入 3D 邊框或沉浸式背景，並以立體顯示或頭部追蹤為視窗增加深度。
- 將進階遊戲移植到 Apple 平台評估 Windows 可執行檔在 Apple 晶片上的表現、以範例程式碼開始移植、將著色器轉為 Metal，並把遊戲帶到 Mac、iPhone 與 iPad。運用能理解 HLSL 的 Metal 工具驗證、除錯及分析著色器。
- 探索 Object Capture 區域模式Object Capture 區域模式讓 iOS 能擷取與重建一處空間。使用 macOS 重建範例 App 改善擷取品質，透過 Quick Look 在 Apple Vision Pro、iPhone、iPad 或 Mac 查看成果，並以新 API 建立自訂影像處理管線。
- 探索 iOS、macOS 與 visionOS 的 RealityKit API使用 RealityKit 全新跨平台 API 建立 iOS、macOS 與 visionOS 沉浸式 App，並透過實例查看懸停效果、光影和穿越傳送門等功能。
- 探索 visionOS 遊戲輸入設計與實作 visionOS 遊戲輸入。了解系統手勢如何簡化互動，以及支援自訂手勢和遊戲控制器的做法。
- 深入 RealityKit debugger使用 RealityKit debugger 檢查空間 App 的 entity 階層、除錯異常轉換、尋找遺失 entity，並定位造成系統問題的程式碼。
- 為 Apple 平台設計進階遊戲讓高階遊戲自然適應 Mac、iPad 與 iPhone。了解不同顯示器的視覺調整、各裝置的輸入與控制，以及可改善玩家體驗的 Apple 技術。
- 為空間運算最佳化 3D 素材了解 3D 素材最佳化的完整流程，包括網格、材質與貼圖，以及 shader graph、baking 和 material instance，在提升場景效果的同時改善效能。
- 設計出色的 visionOS App從沉浸感、眼睛與手部操作、深度、比例及空間著手設計空間運算 App，並查看優秀 visionOS App 的設計案例與思路。
- 認識 visionOS 的 TabletopKit使用 TabletopKit 從零建立 visionOS 桌上遊戲。設定遊戲、以 RealityKit 加入算繪，並用少量程式碼透過 FaceTime 空間 Persona 啟用多人遊玩。