Siri на iPhone научилась просматривать контент на экране и отправлять сторонним службам

Ассистент «увидит» все, что происходит на экране. У Siri можно будет спросить «Что изображено на фото?», «О чем эта статья в интернете?» или «Составь краткий пересказ этого документа».

Компания Apple представила новое API под названием App Intent. Это алгоритм, который позволяет Siri сканировать содержимое на экране iPhone и отправлять для анализа сторонним службам, например, чат-боту ChatGPT.

Новое API уже внедрили во вторую бета-версию iOS 18.2, выпущенную 4 ноября. Она будет по умолчанию установлена у всех, кто обновится до этой версии ОС. Ожидается, что стабильная сборка iOS 18.2 выйдет в начале декабря.

Благодаря App Intent голосовой ассистент Siri и встроенный ИИ Apple Intelligence смогут «видеть» все, что происходит на экране смартфона, анализировать содержимое и отправлять для обработки в сторонние службы только по запросу пользователя.

Так, владелец iPhone сможет открыть документ, активировать Siri и попросить ее составить краткое содержимое файла. Голосовой помощник просканирует документ и отправит его в ChatGPT. Чат-бот, в свою очередь, сгенерирует пересказ содержимого. Или можно попросить Siri обработать снимок, когда открыто приложение «Фото» с нужным изображением. То же самое будет работать с сайтами — можно позвать Siri вместе с открытой вкладкой в Safari, чтобы ИИ собрал краткую сводку по статье.