话题指南
音频与视频
使用 Apple 的音视频框架构建可靠的采集、播放、编辑、流媒体与空间媒体体验。
音频与视频话题覆盖从采集、处理、播放、路由、元数据到交付的完整媒体链路，适合相机、编辑器、播放器、通话、音乐与沉浸式媒体产品。
- Session
- 26
- 2026
- 7
- 2025
- 10
- 2024
- 9
这一话题涵盖什么
- AVFoundation 采集与播放
- 媒体处理、编解码与流媒体
- Now Playing、路由与空间音频
WWDC 2026
7 场 Session- 为 Apple Immersive Video 构建直播制作工具深入了解 Apple Immersive Video 直播制作幕后。了解如何使用 SMPTE 2110 标准打包沉浸式视频、空间音频和场景元数据，以便通过 IP 网络传输。利用 Apple 的 Immersive Media Support、Video Toolbox 和 AVFoundation 框架，为实时 Apple Immersive Video 工作流提供支持。为了充分理解本 Session，请观看…
- 将 MusicKit 集成到 App使用 MusicKit 将 Apple Music 的能力带到 App。我们将介绍授权、订阅状态检查、音乐选择、播放控制和跨商店歌曲分享。了解如何使用新的 Music Picker，让用户浏览 Apple Music 目录与个人资料库。我们还会讲解 SystemMusicPlayer 和 ApplicationMusicPlayer 的差异，并展示如何观察播放状态。
- 探索生成式字幕与字幕样式使用生成式字幕让视频内容更易于访问。这项强大的新功能可通过设备端模型转写语音，或翻译其他语言的字幕。探索字幕样式预览，让用户可以在播放期间自定义并预览字幕样式；并深入了解 AVKit、AVPlayerLayer 和 Media Accessibility 框架的实现细节。
- 构建可快速启动且响应迅速的相机 App了解如何构建可立即启动的相机 App，让用户不会错过精彩瞬间。探索如何优化从 App 启动到显示首帧预览的整个相机启动序列。了解可加快启动的新 API，以及顺畅预览渲染和维持可持续性能的最佳实践，确保 App 拥有精致的相机体验。
- 认识 Music Understanding 框架探索 Music Understanding，这款新框架可让 App 在设备端从六个维度分析音频：调性、节奏、结构、速度、乐器活动和响度。还可使用 Music Understanding Lab 示例 App 将每项结果可视化。
- 认识 Now Playing 框架抢先了解 Now Playing。这款 Swift 框架可将 App 的媒体播放连接到锁定屏幕、控制中心、灵动岛和 CarPlay 等系统界面。了解如何使用其可观察 API 发布播放状态并响应命令。探索远程播放 Session，这项新能力让 App 可以表示外部设备上播放的媒体，并将完整播放控件带到同一批系统界面。
- 让 tvOS App 为 Dynamic Type 做好准备Dynamic Type 让用户可以选择最适合自己的文本大小，从而舒适地阅读 App 内容并与其交互。你将学习通过实现字体缩放和适配更大内容等实用技术，让 App 为 tvOS 上的 Dynamic Type 做好准备。你还将了解如何优化网格与轮播等以媒体为中心的界面，确保依赖不同文本大小的所有用户都能获得出色体验。
WWDC 2025
10 场 Session- visionOS 26 新功能探索 visionOS 26 中精彩的新功能。了解增强的体积 API，以及如何结合 SwiftUI、RealityKit 和 ARKit 的能力。了解如何使用更快的手部跟踪和空间配件输入，构建更具吸引力的 App 与游戏。抢先了解 SharePlay、Compositor Services、沉浸式媒体、空间 Web、Enterprise API 等方面的更新。
- 与附近用户共享 visionOS 体验了解如何为同一房间内佩戴 Vision Pro 的用户创建共享体验。我们将展示如何在 App 中集成 SharePlay 并利用 ARKit，介绍针对附近用户和 FaceTime 参与者更新后的窗口共享流程，并介绍为顺畅协作设计的新 API。探索最佳实践，让协作功能更加出众、易于发现，并吸引同一空间中的用户共同参与。
- 了解 Apple Immersive Video 技术探索 Apple Immersive Video 和 Apple Spatial Audio Format 技术的能力，创建真正沉浸式的体验。认识新的 ImmersiveMediaSupport 框架，它提供读写启用 Apple Immersive Video 所需元数据的功能。了解将 Apple Immersive Video 内容编码并发布为独立文件以供播放，或通过 HLS 流式传输的准则。为了充分理解本…
- 了解 Apple Projected Media Profile深入了解 Apple Projected Media Profile (APMP)，以及 APMP 如何使用 Video Extended Usage 信令，在 QuickTime 和 MP4 文件中支持 180º/360º 与宽 FoV 投影。我们将提供指导，介绍如何使用系统提供的框架与工具转换、读写、编辑和编码包含 APMP 的媒体。我们还将回顾 Apple Positional Audio Codec…
- 使用基于机器学习的视频效果增强 App了解如何添加帧率转换、超分辨率和噪声过滤等效果，改善视频编辑和直播体验。我们将探索 Video Toolbox 框架中针对 Apple Silicon 优化的 ML 视频处理算法。了解如何集成这些效果，为实际使用场景增强 App 能力。
- 创建顺畅的多视图播放体验了解如何在 App 中构建进阶多视图播放体验。我们将介绍如何在多个播放器之间同步播放、通过顺畅的 AirPlay 集成增强多视图播放，并优化播放质量，提供引人入胜的多视图播放体验。
- 在 App 中采集电影效果视频了解 Cinematic Video API 如何让 App 轻松采集电影风格视频。我们将介绍如何配置 Cinematic 采集 Session，并讲解构建视频采集 UI 的基础知识。我们还会探索进阶 Cinematic 功能，例如应用景深效果，同时实现跟踪与焦点转移。
- 在 visionOS App 中支持沉浸式视频播放了解如何在 visionOS App 中播放沉浸式视频。我们将介绍各种沉浸式渲染模式，回顾支持这些模式的框架，并逐步讲解如何在 App 中渲染沉浸式视频。为了充分理解本视频，建议先观看 WWDC25 的“探索 visionOS 视频体验”。
- 增强 App 的音频录制能力了解如何改进 App 的音频录制功能。探索在 iOS 和 iPadOS 26 上通过输入选取器交互灵活选择音频设备。了解使用 AirPods 进行高质量语音录制的可用 API。我们还将介绍空间音频录制与编辑能力，让你可以分离语音和环境背景声，全部通过 AudioToolbox、AVFoundation 和 Cinematic 框架完成。
- 探索 visionOS 视频体验了解在 App 中创建和呈现沉浸式视频体验的不同方式。我们将探索 visionOS 26 中提供的多种媒体类型，包括适用于 180°、360° 和宽视野视频的 Profile；创建和播放 Apple Immersive Video 的选项；以及 2D、3D 和空间视频的扩展能力。了解哪些 Profile 最适合 App 及其内容。
WWDC 2024
9 场 Session- 介绍适用于 visionOS 的企业 API了解如何使用适用于 visionOS 的新企业 API，创建可提高员工与顾客在 Apple Vision Pro 上工作效率的空间体验。
- 使用 HLS 插播增强广告体验探索 HLS Interstitials 如何帮助你将广告顺畅插入 HLS 内容。我们还会展示如何使用集成时间线调整 UI 体验，并为插播内容构建 SharePlay。
- 使用 ScreenCaptureKit 采集 HDR 内容了解如何使用 ScreenCaptureKit 采集高动态范围色彩，并探索 HDR 支持、麦克风采集和直接录制到文件等新功能。
- 在 App 中使用 HDR 构建动态图像体验了解如何在 App 中读写 HDR 图像并处理 HDR 内容。探索新支持的 HDR 图像格式和显示 HDR 图像的进阶方法。了解 HDR 内容如何与 UI 共存，以及为 App 添加 HDR 图像支持时需要注意的事项。
- 在 SharePlay 中自定义空间 Persona 模板了解如何在 visionOS SharePlay 体验中使用自定义空间 Persona 模板，微调 Persona 相对于 App 的位置。我们将展示如何在带有 SharePlay 的示例 App 中采用自定义空间 Persona 模板、在座位间移动参与者，并在 Simulator 中测试更改。我们还会分享设计自定义空间模板的最佳实践，让体验更加出色。
- 增强自定义环境中的媒体观看沉浸感使用 Docking Region、Reverb 和 Virtual Environment Probe 等 Reality Composer Pro 组件扩展媒体观看体验。了解如何通过 Reflections、Tint Surroundings Effect、SharePlay 和 Immersive Environment Picker 进一步增强沉浸感。
- 将 TVML App 迁移到 SwiftUISwiftUI 可帮助你在所有 Apple 平台上构建出色的 App，也是通过 tvOS 18 将内容带入客厅的首选工具包。了解如何使用 SwiftUI 创建熟悉的 TVMLKit 布局与控件，并获取技巧和最佳实践。
- 探索 AVFoundation 中的媒体性能指标了解如何使用新的媒体性能 API 监控、分析和改进用户体验。探索如何使用不同的 AVMetricEvents 监控 HLS 资源的 AVPlayer 性能，并了解如何运用这些指标理解和排查播放器性能问题。
- 探索 visionOS 中的多视图视频播放了解 AVExperienceController 如何在 Apple Vision Pro 上启用多个视频的播放。回顾采用这项功能的最佳实践，并探索出色的使用场景，例如从不同角度观看体育赛事直播，或同时观看多场比赛。还可了解如何在 App 中设计引人入胜且直观的多视图体验。