Пока что SIMA — это амбициозный исследовательский проект, а не готовый продукт. Учёные хотят сделать его максимально похожим на человека-сокомандника, поэтому им предстоит долгий путь. В будущем SIMA будет выполнять команды игроков и вести с ними беседы на разные темы, подобно тому, как общаются люди. Научить систему искусственного интеллекта играть в игры — это уже технический подвиг, но если она освоит инструкции разных игровых настроек, то сможет действовать в любой игровой среде. Даже в той, с которой сталкивается в первый раз.
Сейчас DeepMind https://interestingengineering.com/innovation/googles-sima-a... ИИ на 9 непохожих друг на друга играх с открытым миром. Их предоставили партнёры Google. Это Eco, Goat Simulator 3, Hydroneer, No Man's Sky, Satisfactory, Space Engineers, Teardown, Valheim и Wobbly Life. Исследователей интересовала игровая среда, которая контролируется от первого лица или от третьего лица через плечо. Учёные выбирают только те игры, где есть простор для открытого взаимодействия, но нет чрезмерного насилия. Сюда вошло много разных концепций — от исследования космических пространств до дурацких шалостей от лица козла-вредителя.
Чтобы сделать SIMA максимально универсальным, агенту не предоставляют какой-либо привилегированный доступ к внутренним данным игры или API-интерфейсам управления. Система не принимает в качестве входных данных ничего, кроме пикселей, а в качестве выхода использует сигналы, как от мышки и клавиатуры. Это помогает имитировать то, как люди играют в видеоигры.
В качестве набора данных для обучения SIMA использует видео от геймеров-людей и связанные с игровым процессом входные данные с временным кодом. Их сопровождают описания происходящего на экране, сделанные на естественном языке. Эти ролики сосредоточены на инструкциях, которые можно выполнить менее чем за 10 секунд, чтобы избежать сложностей из-за выбора. Интеграция с предварительно обученными моделями, такими как SPARC и Phenaki, также помогает SIMA интерпретировать языковые и визуальные данные.
Сейчас учёные тестируют, как модель справляется с разными языковыми командами для разных игровых задач, от навигации до сбора ресурсов. Ей говорят, например, подойти к своему кораблю, собрать малину или порезать картошку. Потом исследователи оценивают, как агент справился с заданиями, с помощью компьютеров и обратной связи от людей-геймеров. Результаты многое проясняют в логике и возможностях ИИ: агент справляется с 75% задач по вождению, но только с 40% задач по ходьбе.
Интересно, что играть модель учится почти как человек — она переносит уже полученные знания о процессах и их описаниях на новую среду. Например, агент вспомнил, как запрыгивал в космический корабль в одной игре, чтобы запрыгнуть в машину в другой. SIMA уже на 67% эффективнее, чем похожие агенты, которых обучали только в одной среде.
Самый милый и жестокий шутер-рогалик AK-xolotl перенесли на Android
The Kingmakers system requirements show that the hardest part of running the game may be finding 80 GB free for the install
This underwater city builder had me more emotionally invested in my corals than SimCity does in my human citizens, and you can try it at the next Steam Next Fest
Elden Ring Nightreign Equilibrious Beast boss guide: How to beat Libra
В Москве объявлены победители Всероссийского конкурса «Школа#безОбид»
Благотворительный Фонд Вселены Мастер «Мир Вместе» стал официальным партнёром большого благотворительного концерта «Школы музыки Брант» при поддержке VK
Решение MILA: новый уровень заботы о здоровье за счет цифрового взаимодействия клиник и пациентов
Благотворительный Фонд Вселены Мастер «Мир Вместе» стал официальным партнёром большого благотворительного концерта «Школы музыки Брант» при поддержке VK
В Москве объявлены победители Всероссийского конкурса «Школа#безОбид»
