Путеводитель по теме
ИИ и машинное обучение
Изучите Apple Intelligence, Foundation Models, Core ML, Vision и практические способы выпуска мощных конфиденциальных функций машинного обучения.
Тема связывает фреймворки моделей Apple с решениями, необходимыми для их правильного применения в продукте. Она охватывает локальные и облачные модели, вызов инструментов, оценку, компьютерное зрение, преобразование моделей и ограничения конфиденциальности и производительности реальных приложений.
- Сессии
- 76
- 2026
- 38
- 2025
- 17
- 2024
- 21
Что входит в эту тему
- Foundation Models и Apple Intelligence
- Core ML, Vision и оптимизация моделей
- Оценка, конфиденциальность и агентные решения
WWDC 2026
38 сессий- Агентные функции приложения с Foundation ModelsСоздавайте динамический контекст и агентные процессы: общий контекст, границы конфиденциальности, кэширование ключей и значений и плавную передачу между локальными и серверными моделями.
- Внутри Apple Intelligence и Xcode: специальная презентацияПознакомьтесь с агентным программированием Xcode 27, контекстными действиями Siri через App Intents, интеллектуальными функциями Foundation Models, локальными моделями Core AI и масштабированием исследований и…
- Групповая лаборатория Apple IntelligenceПрисоединяйтесь онлайн к обсуждению главных объявлений Apple Intelligence на WWDC26 с инженерами и дизайнерами Apple. Проводится на английском языке.
- Групповая лаборатория интеллектуального программирования, машинного обучения и ИИПрисоединяйтесь онлайн к обсуждению главных объявлений WWDC26 об интеллектуальном программировании, машинном обучении и ИИ с инженерами и дизайнерами Apple. Проводится на английском языке.
- Групповая лаборатория машинного обучения и ИИПрисоединяйтесь онлайн к обсуждению главных объявлений WWDC26 о машинном обучении и ИИ с инженерами и дизайнерами Apple. Проводится на английском языке.
- Защита агентных функций приложенияОценивайте угрозы косвенного внедрения запросов, включая утечку данных и нежелательные действия. Применяйте системную защиту, подтверждения пользователя, безопасные запросы и аутентификацию в App Intents и…
- Знакомство с Core AICore AI развертывает модели на устройстве: библиотеки Python преобразуют и оптимизируют их, API Swift запускает простой и сложный вывод, репозиторий дает готовые примеры, а Xcode заранее компилирует модели.
- Знакомство с фреймворком EvaluationsОценивайте функции на основе моделей: определяйте метрики, автоматически выставляйте оценки и объединяйте статистику для надежной работы ИИ на платформах Apple.
- Знакомство с фреймворком Music UnderstandingMusic Understanding анализирует звук на устройстве по шести измерениям: тональность, ритм, структура, темп, активность инструментов и громкость. Пример Music Understanding Lab визуализирует результаты.
- Иммерсивные окружения для приложений visionOS и пространственного вебаСоздавайте фотореалистичные окружения visionOS для приложений, сайтов и SharePlay. Изучите принципы погружения, съемку и создание эталонов, подготовку CG-ресурсов и эффекты движения и света в реальном времени.
- Интеллектуальные возможности Siri с App SchemasДобавляйте контент и действия в Siri через App Intents. Моделируйте данные App Entities, применяйте App Schemas и Apple Intelligence для естественного языка, семантического поиска, действий между приложениями…
- Качественные изображения с Image PlaygroundНовая генеративная модель Private Cloud Compute создает изображения почти в любом стиле, включая фотореализм. Задавайте размеры, меняйте изображения естественным языком и касанием, создавайте их по описаниям и…
- Локальные модели ИИ в приложении с Core AIЗагружайте и запускайте подобранные открытые модели, включая Qwen, Mistral, SAM3 и другие, оптимизированные для Apple silicon. На Mac компилируйте и специализируйте модели для быстрого первого запуска и…
- Локальный агентный ИИ на Mac с MLXЗапускайте агентов локально с конфиденциальностью, низкой задержкой и без сети. Изучите MLX и оборудование Mac для агентных процессов, агенты кода вроде OpenCode, интеграцию с Xcode, масштабирование на…
- Надежные оценки агентных приложенийОценивайте процессы с вызовом инструментов и динамическими условиями, определяйте правильное поведение, создавайте синтетические данные, применяйте судей и проверяйте наборы данных.
- Нейронный рендеринг в реальном времени с MetalИнтегрируйте ML в рендеринг Metal 4. Применяйте нейронное удаление шума MetalFX, обучайте и запускайте нейронный тональный преобразователь через ML command encoder и создавайте небольшие сети прямо в шейдерах…
- Новая Apple Foundation Model в Private Cloud ComputePrivate Cloud Compute предоставляет мощные передовые модели с защитой конфиденциальности через Foundation Models. Узнайте, как проверять доступность и корректно переходить к резервным вариантам.
- Новое в ShortcutsСоздавайте автоматизации на контенте приложения, улучшайте представление App Entity для LLM через расшифровку Use Model и храните богатые данные в синхронизируемых между устройствами командах.
- Новое в понимании изображенийНовый запрос сегментации по нажатию в Vision, поддержка watchOS и изображения в Apple Foundation Model позволяют объединять OCR, штрихкоды и собственные инструменты для визуального понимания на базе LLM.
- Новое во фреймворке Foundation ModelsПознакомьтесь с Private Cloud Compute, сторонними и открытыми моделями, зрительными возможностями, API управления контекстом, встроенным семантическим поиском и примитивами агентных функций.
- Новые возможности App IntentsValueRepresentation и RelevantEntities улучшают поиск и передачу контента между приложениями, EntityCollection повышает производительность, SyncableEntity масштабирует данные между устройствами, а объединенные…
- Оптимизация собственных операций ML с тензорами MetalMetal Tensor API и MPP Tensor Ops используют Neural Accelerators GPU Apple M5 и A19. Создавайте ядра ML для Core AI и оптимизируйте квантованные форматы и память GPU.
- Отладка и профилирование агентных функций с InstrumentsИспользуйте улучшенный инструмент FoundationModels в Xcode для проверки поведения и производительности. Изучайте запросы, задержку и поток управления в сценариях с несколькими LanguageModelSessions и профилями.
- Перевод приложения с агентами в XcodeУзнайте, как Xcode и агенты программирования переводят String Catalog с учетом контекста приложения, и изучите стратегии проверки результата и последовательного улучшения локализации.
- Перенос Cyberpunk 2077 на MacCD PROJEKT RED рассказывает, как перенесла Cyberpunk 2077 на Mac с аппаратными и программными средствами Apple. Предустановка For this Mac автоматически балансирует качество графики и частоту кадров на разных…
- Поиск LLM с Core SpotlightПостройте поиск с дополненной выборкой на SpotlightSearchTool и LanguageModelSession. Изучите интеграцию Core Spotlight, загрузку через делегаты, влияние метаданных и собственные PipelineStages для анализа…
- Поставщик LLM для Foundation ModelsРасширьте Foundation Models реализацией LanguageModelExecutor. Работайте с расшифровкой LanguageModelSession, состоянием сеанса, кэшем KV и собственными типами сегментов.
- Практика: доступ приложения в SiriВ проекте Xcode внедрите App Schemas для вопросов о календаре и действий естественным языком, публикуйте контент в семантическом индексе Spotlight и передавайте экранный контекст. В сеансе также…
- Проверка App Intents с AppIntentsTestingAppIntentsTesting проверяет намерения через инфраструктуру Siri, Shortcuts и Spotlight. Выполняйте намерения, изучайте результаты и тестируйте сущности и запросы без автоматизации интерфейса. Проверяйте…
- Прототипы интерфейса с агентами в XcodeИспользуйте агентов Xcode для прототипирования взаимодействий, итераций макета и поиска решений задач дизайна. Научитесь критически оценивать идеи и превращать их в продуманные решения для людей.
- Распределенный вывод и обучение с MLXМасштабируйте ML-нагрузки на несколько Mac. Решайте задачи межсоединений, вывода крупных моделей, пакетной обработки запросов и распределенного обучения, заменяя дорогую облачную инфраструктуру несколькими Mac.
- Расширенные App Intents для Siri и Apple IntelligenceИспользуйте продвинутые API App Intents, чтобы люди выполняли больше голосом, Apple Intelligence находила контент, а экранный контекст помогал Siri понимать происходящее в приложении.
- Рекомендации по интеграции Visual IntelligenceОпределяйте сущности, обрабатывайте изображения и разные типы результатов, оптимизируйте скорость и релевантность и добавляйте действия намерений для открытия или воспроизведения одним нажатием.
- Создание и оптимизация моделей Core AIПройдите полный процесс развертывания модели на Apple silicon: собственные ядра Metal, сжатие с учетом платформы, анализ в Core AI Debugger и процессы с поддержкой ИИ от идеи до оптимизированного выполнения.
- Сценарии на базе ИИ с fm CLI и Python SDKИспользуйте Apple Foundation Models в macOS через Python SDK с популярными инструментами и оценками и новую команду fm в macOS 27 для сценариев и автоматизации процессов моделей.
- Улучшение запросов методом восхождения с EvaluationsСравнивайте варианты для проектирования запросов и выбора модели, задавайте базовый уровень, расширяйте оценку, экспортируйте JSON и постепенно уточняйте запросы.
- Ускоренный перенос игры с агентным программированиемНовые агентные навыки Game Porting Toolkit 4 ускоряют перенос на платформы Apple. Вместе с помощником внедряйте Metal 4 и MetalFX, настраивайте игру под оборудование Apple и автоматически диагностируйте GPU…
- Численные вычисления на Swift с MLXMLX Swift переносит вычисления в стиле NumPy в типобезопасный Swift. Обрабатывайте изображения, тензоры и обучение сетей в одной среде с ускорением GPU и привычными средствами компиляции и отладки.
WWDC 2025
17 сессий- Большие языковые модели на Apple silicon с MLXПознакомьтесь с MLX LM для эффективной работы с большими языковыми моделями на Apple silicon: тонкой настройкой и выводом современных моделей на Mac и интеграцией в приложения и проекты Swift.
- Знакомство с App IntentsИзучите намерения, сущности, запросы и другие основы App Intents. Узнайте, как они связывают приложение с Spotlight, Shortcuts, кнопкой Action и Apple Intelligence на устройствах Apple.
- Знакомство с фреймворком Foundation ModelsОбзор локальной большой языковой модели Apple Intelligence: управляемая генерация структур Swift, потоковая выдача, вызов инструментов для источников данных и сеансы для управления контекстом. Предварительные…
- Начало работы с MLX для Apple siliconMLX , гибкий фреймворк массивов для вычислений и машинного обучения на Apple silicon. Изучите общую память, ленивые вычисления, преобразования функций и методы создания и ускорения моделей через API Swift и…
- Новое в BNNS GraphBNNS Graph Builder API позволяет описывать графы операций на Swift для обработки данных и небольших моделей ML, заранее компилировать их для реального времени, реализовать звуковой эффект без Python и готовить…
- Новые возможности App IntentsПознакомьтесь с отложенными свойствами, интерактивными фрагментами намерений, аннотациями представлений сущностей и интеграцией Visual Intelligence. Узнайте, как писать App Intents для Spotlight и Visual…
- Объединение машинного обучения и графики в Metal 4Объедините машинное обучение с графикой Metal 4. Познакомьтесь с ресурсами tensor и кодировщиком ML для моделей на временной шкале GPU, встраивайте нейросети в шейдеры и используйте новые средства отладки…
- Оптимизация производительности CPU с InstrumentsИспользуйте два аппаратных инструмента Instruments для Apple silicon: Processor Trace показывает все вызванные функции, а режимы CPU Counters помогают находить узкие места CPU.
- Подробнее о Writing ToolsНастройте Writing Tools для вычитки, переписывания и преобразования текста в приложении. Изучите форматирование богатого текста и полную интеграцию с собственным текстовым движком для правок прямо в текстовом…
- Подробно о фреймворке Foundation ModelsРазберитесь во внутреннем устройстве управляемой генерации и применяйте руководства, регулярные выражения и схемы для структурированных ответов. Используйте вызов инструментов для доступа модели к внешним…
- Практика: локальный ИИ в приложении с Foundation ModelsРазработайте генеративную функцию SwiftUI с Foundation Models. Пошаговые примеры покажут основы фреймворка, дополнение моделей собственными инструментами, потоковую выдачу результатов и оптимизацию…
- Проектирование запросов и безопасность локальных базовых моделейСоздавайте генеративные функции с Foundation Models. Узнайте, как составлять запросы для локальной большой языковой модели Apple Intelligence и применять практические стратегии безопасности, надежности и…
- Проектирование интерактивных фрагментовФрагменты App Intents показывают сведения приложения в Siri, Spotlight и Shortcuts. Узнайте, как добавлять кнопки и состояние и проектировать компоновку, типографику, взаимодействия и типы намерений.
- Разработка для Shortcuts и Spotlight с App IntentsСоздавайте App Intents для новых функций Shortcuts и Spotlight на Mac. Узнайте, как действия приложения сочетаются с Apple Intelligence, как работает действие Use Model с сущностями и как публиковать действия…
- Современное распознавание речи в приложении с SpeechAnalyzerПознакомьтесь с API SpeechAnalyzer и SpeechTranscriber, принципами преобразования речи в текст и практической интеграцией живой расшифровки на Swift.
- Фреймворки машинного обучения и ИИ на платформах AppleОбзор обновлений фреймворков машинного обучения и ИИ поможет разработчикам приложений, инженерам ML и энтузиастам выбрать подходящие инструменты для Apple Intelligence и локальных моделей.
- Чтение документов с фреймворком VisionПознакомьтесь с RecognizeDocumentsRequest для чтения строк, абзацев и таблиц, а также с обнаружением загрязнения объектива и поиском таких снимков в медиатеке или собственном конвейере камеры.
WWDC 2024
21 сессий- Вывод ML в реальном времени на CPUУзнайте, как BNNSGraph ускоряет выполнение модели машинного обучения на CPU. Мы покажем компиляцию и выполнение модели и объясним гарантии реального времени: отсутствие выделения памяти во время выполнения и…
- Динамичные изображения HDR в приложенииУзнайте, как читать и записывать изображения HDR и обрабатывать HDR-контент. Рассмотрите новые поддерживаемые форматы и расширенные способы показа HDR. Узнайте, как сочетать HDR-контент с интерфейсом и что…
- Знакомство с Translation APIУзнайте, как переводить текст между разными языками в приложении с помощью нового фреймворка Translation. Мы покажем, как быстро выводить переводы в системном интерфейсе и переводить крупные пакеты текста для…
- Интеграция приложения с SiriУзнайте, как использовать SiriKit и App Intents, чтобы предоставить функции приложения Siri и Apple Intelligence. Посмотрите, какие намерения уже доступны и как внедрить домены App Intent для интеграции…
- Корпоративные API для visionOSУзнайте, как новые корпоративные API visionOS помогают создавать пространственные решения для повышения эффективности сотрудников и клиентов на Apple Vision Pro.
- Машинное обучение на платформах AppleНачните с обзора фреймворков машинного обучения на платформах Apple. Независимо от вашего опыта мы поможем выбрать фреймворк, подходящий задачам приложения.
- Модели машинного обучения и ИИ на Apple siliconУзнайте, как оптимизировать модели машинного обучения и ИИ для Apple silicon. Рассмотрите преобразование моделей для выполнения на устройстве и совместимые методы сжатия на разных этапах развертывания. Также…
- Начало работы с Writing ToolsУзнайте, как Writing Tools помогают вычитывать, переписывать и преобразовывать текст в приложении. Разберитесь, как Writing Tools взаимодействуют с приложением, получают и обрабатывают текст и как добавить их…
- Новое в App IntentsУзнайте об улучшениях и новых возможностях App Intents и о том, как этот фреймворк помогает предоставить функции приложения Siri, Spotlight, Shortcuts и другим службам. Мы покажем, как сделать сущности…
- Новое в Create MLПознакомьтесь с обновлениями Create ML, включая интерактивный просмотр источников данных и новый шаблон моделей отслеживания объектов для приложений visionOS. Также рассмотрим важные улучшения фреймворка…
- Новое в DockKitУзнайте, как интеллектуальное отслеживание в DockKit обеспечивает более плавные переходы между объектами. Мы объясним, что это такое, как модель ML выбирает и отслеживает объекты и как применять эту функцию в…
- Обучение моделей машинного обучения и ИИ на GPU AppleУзнайте, как обучать модели на Apple silicon с Metal для PyTorch, JAX и TensorFlow. Используйте новые операции внимания и поддержку квантования, чтобы повысить производительность моделей-трансформеров на…
- Основные функции приложения для пользователей с App IntentsИзучите принципы App Intents: намерения, сущности и запросы, с помощью которых важные функции приложения появляются там, где нужны людям. Узнайте, как глубоко интегрировать приложение с Siri, элементами…
- Отслеживание объектов в visionOSУзнайте, как отслеживание объектов превращает реальные предметы в виртуальные привязки приложения visionOS. Проследите весь процесс создания пространственного решения с отслеживанием объектов. Научитесь…
- Проектирование App Intents для системных функцийApp Intents лежат в основе элементов управления, Spotlight, Siri и других системных функций. Узнайте, какие возможности лучше всего подходят для App Intents и как параметры делают намерения гибкими. Научитесь…
- Развертывание моделей машинного обучения и ИИ на устройстве с Core MLУзнайте о новых способах оптимизации скорости и памяти при преобразовании и запуске моделей через Core ML. Мы рассмотрим новые варианты представления моделей, анализ производительности, выполнение и…
- Семантический поиск с Core SpotlightУзнайте, как предоставлять результаты семантического поиска в приложении с помощью Core Spotlight. Научитесь добавлять контент приложения в личный локальный индекс пользователя, чтобы люди могли искать объекты…
- Согласованные цвета при съемкеПознакомьтесь с Constant Color API и узнайте, как он помогает точно определять цвета в приложении. Вы научитесь внедрять API, рассмотрите его научные и маркетинговые применения и рекомендации по использованию…
- Удобная съемка с экрана блокировкиУзнайте, как LockedCameraCapture API выводит важные сведения приложения для съемки прямо на экран блокировки. Рассмотрите функции API, создание расширения захвата и поведение расширения на заблокированном…
- Улучшения Swift во фреймворке VisionAPI фреймворка Vision переработан с учетом современных функций Swift, включая параллельность, чтобы широкий набор алгоритмов Vision было проще и быстрее интегрировать. Мы рассмотрим обновленный API, примеры…
- Ускорение машинного обучения с MetalУзнайте, как ускорить модели-трансформеры машинного обучения с новыми функциями Metal Performance Shaders Graph. Мы также рассмотрим повышение вычислительной пропускной способности и качества модели и…