主題指南
音訊與影片
使用 Apple 的音訊與影片框架，打造可靠的擷取、播放、編輯、串流與空間媒體體驗。
音訊與影片主題涵蓋完整的媒體處理流程，包括擷取、處理、播放、路由、中繼資料與傳輸，適合建構相機、編輯器、播放器、通話、音樂產品與沉浸式媒體的團隊。
- Session
- 26
- 2026
- 7
- 2025
- 10
- 2024
- 9
這個主題涵蓋的內容
- AVFoundation 擷取與播放
- 媒體處理、編解碼器與串流
- Now Playing、路由與空間音訊
WWDC 2026
7 場 Session- 將 MusicKit 整合至應用程式使用 MusicKit，將 Apple Music 的功能帶入應用程式。我們將介紹授權、訂閱狀態檢查、音樂選取、播放控制，以及跨店面分享歌曲。瞭解如何使用全新的 Music Picker，讓使用者瀏覽 Apple Music 目錄和個人音樂資料庫。我們也會解析 SystemMusicPlayer 與 ApplicationMusicPlayer 的差異，並說明如何觀察播放狀態。
- 建構快速啟動且回應靈敏的相機應用程式探索如何建構可立即啟動的相機應用程式，讓使用者不會錯過精彩瞬間。探索如何最佳化整個相機啟動順序，從應用程式啟動到第一個預覽影格。瞭解可加快啟動速度的新 API、流暢預覽算繪及維持持續效能的最佳做法，確保應用程式提供完善的相機體驗。
- 探索自動產生的字幕與字幕樣式運用自動產生的字幕。這項強大的全新功能可使用裝置端模型轉錄語音，或翻譯其他語言的字幕，讓影片內容更易於取用。探索字幕樣式預覽，讓使用者在播放期間自訂並預覽字幕樣式，並深入瞭解 AVKit、AVPlayerLayer 和 Media Accessibility 框架的實作細節。
- 為 Apple Immersive Video 建構現場製作工具深入現場 Apple Immersive Video 製作的幕後。探索如何依循 SMPTE 2110 標準，封裝沉浸式影片、空間音訊與場景中繼資料，以便透過 IP 網路傳輸。運用 Apple 的 Immersive Media Support、Video Toolbox 與 AVFoundation 框架，支援即時 Apple Immersive Video 工作流程。若要充分掌握本 Session…
- 認識 Music Understanding 框架認識 Music Understanding。這個全新框架可讓應用程式在裝置端從調性、節奏、結構、速度、樂器活動和音量六個面向分析音訊。你也可以使用 Music Understanding Lab 範例應用程式，將各項結果視覺化。
- 認識 Now Playing 框架初步認識 Now Playing。這個 Swift 框架可將應用程式的媒體播放連接至鎖定畫面、控制中心、動態島和 CarPlay 等系統介面。探索如何使用可觀察的 API 發佈播放狀態並回應指令。探索遠端播放 Session。這項新功能可讓應用程式呈現外部裝置上播放的媒體，並在相同的系統介面提供完整的播放控制。
- 讓 tvOS 應用程式支援動態字級動態字級讓使用者選擇最適合自己的文字大小，舒適地閱讀應用程式內容並與之互動。你會學到實用技巧，在 tvOS 上實作字體縮放，並調整版面以容納更大的內容，讓應用程式為動態字級做好準備。你也會了解如何最佳化格狀排列和輪播等以媒體為主的介面，確保使用不同文字大小的每個人都能獲得良好體驗。
WWDC 2025
10 場 Session- visionOS 26 最新功能探索 visionOS 26 的精彩新功能。認識強化的立體空間 API，並瞭解如何結合 SwiftUI、RealityKit 與 ARKit 的強大功能。探索如何運用更快速的手部追蹤與空間配件輸入，打造更引人入勝的應用程式與遊戲。搶先一覽 SharePlay、Compositor Services、沉浸式媒體、空間 Web、Enterprise API 等多項更新。
- 以機器學習影片效果強化應用程式探索如何加入影格率轉換、超高解析度與雜訊過濾等效果，改善影片編輯與直播體驗。我們將介紹 Video Toolbox framework 中針對 Apple Silicon 最佳化、以機器學習為基礎的影片處理演算法。瞭解如何整合這些效果，強化應用程式處理實際使用情境的能力。
- 在 visionOS 應用程式中支援沉浸式影片播放探索如何在 visionOS 應用程式中播放沉浸式影片。我們將介紹各種沉浸式算繪模式、檢視支援這些模式的 framework，並逐步說明如何在應用程式中算繪沉浸式影片。若想充分掌握本影片內容，建議先觀看 WWDC25 的「探索 visionOS 影片體驗」。
- 在應用程式中拍攝電影級影片探索 Cinematic Video API 如何讓應用程式輕鬆拍攝電影風格的影片。我們將說明如何設定 Cinematic 拍攝 Session，並介紹建立影片拍攝 UI 的基礎。我們也會探索 Cinematic 的進階功能，例如套用景深效果，實現追蹤對焦與焦點轉移。
- 強化 App 的錄音功能使用 iOS 與 iPadOS 26 的輸入選擇器彈性選取音訊裝置、透過 AirPods 高品質錄製人聲，並以 AudioToolbox、AVFoundation 與 Cinematic 框架錄製及編輯空間音訊，包括分離語音與環境背景音。
- 打造流暢的多重顯示播放體驗瞭解如何在應用程式中打造進階的多重顯示播放體驗。我們將說明如何在多個播放器之間同步播放、透過順暢的 AirPlay 整合強化多重顯示播放，以及最佳化播放品質，提供引人入勝的多重顯示播放體驗。
- 探索 visionOS 影片體驗瞭解在應用程式中建立與呈現沉浸式影片體驗的不同方式。我們將探索 visionOS 26 提供的多種媒體類型，包括適用於 180°、360° 與廣視野影片的描述檔、製作及播放 Apple Immersive Video 的選項，以及 2D、3D 與空間影片的擴充功能。探索最適合你的應用程式與內容的描述檔。
- 瞭解 Apple Projected Media Profile深入認識 Apple Projected Media Profile (APMP)，瞭解 APMP 如何透過 Video Extended Usage 訊號，在 QuickTime 與 MP4 檔案中啟用 180º/360º 和 Wide FoV 投影。我們將說明如何使用作業系統提供的 framework 與工具，轉換、讀寫、編輯及編碼包含 APMP 的媒體。我們也會介紹 Apple Positional…
- 與附近的人共享 visionOS 體驗瞭解如何為同一空間中配戴 Vision Pro 的人建立共享體驗。我們會示範如何在應用程式中整合 SharePlay 並運用 ARKit、介紹為附近與 FaceTime 參與者更新的視窗共享流程，以及說明專為順暢協作設計的新 API。探索最佳做法，讓協作功能更突出、更容易被發現，並為同處一個空間的人提供引人入勝的體驗。
- 認識 Apple Immersive Video 技術探索 Apple Immersive Video 和 Apple Spatial Audio Format 技術的功能，建立身歷其境的體驗。認識全新的 ImmersiveMediaSupport 框架，它提供讀取和寫入必要中繼資料的功能，以支援 Apple Immersive Video。了解如何按照指引編碼及發佈獨立檔案中的 Apple Immersive Video 內容，以便播放或透過 HLS…
WWDC 2024
9 場 Session- 介紹 visionOS 企業 API使用新的 visionOS 企業 API，在 Apple Vision Pro 建立可提升員工與客戶生產力的空間體驗。
- 使用 HLS 插播內容改善廣告體驗使用 HLS Interstitials 在 HLS 內容中插入廣告，並運用整合式時間列調整 UI 體驗及建立插播內容的 SharePlay。
- 使用 ScreenCaptureKit 擷取 HDR 內容使用 ScreenCaptureKit 擷取高動態範圍色彩，並探索 HDR、麥克風擷取與直接錄製到檔案等新功能。
- 在 App 中使用 HDR 建立動態影像體驗讀寫並處理 HDR 影像，探索新的支援格式和進階顯示方式，並了解 HDR 內容與 UI 共存時的注意事項。
- 在 SharePlay 自訂空間 Persona 模板在 visionOS SharePlay 體驗中使用自訂空間 Persona 模板，精確安排 Persona 與 App 的位置。於範例 App 採用模板、移動參與者座位，並在 Simulator 測試。
- 將 TVML App 移轉到 SwiftUISwiftUI 是 tvOS 18 將內容帶到客廳的首選工具。使用 SwiftUI 建立熟悉的 TVMLKit 版面與控制項，並了解實作建議。
- 探索 AVFoundation 媒體效能指標使用新的媒體效能 API 監控、分析並改善使用者體驗。透過不同 AVMetricEvents 監控 HLS 資源的 AVPlayer 效能，並以指標了解和分類播放問題。
- 探索 visionOS 多重視角影片播放使用 AVExperienceController 在 Apple Vision Pro 播放多部影片。查看採用建議、從不同角度觀看賽事或同時觀看多場比賽等案例，並設計直覺的多重視角體驗。
- 提升自訂環境中的媒體觀看沉浸感使用 Reality Composer Pro 的 Docking Region、Reverb 與 Virtual Environment Probe 元件擴充媒體觀看體驗，再透過 Reflections、Tint Surroundings Effect、SharePlay 和 Immersive Environment Picker 提升沉浸感。