Программист запустил большую языковую модель на игровой консоли Xbox 360
На протяжении многих лет энтузиасты со всего мира соревнуются друг с другом, запуская DOOM на самых немыслимых «платформах», но, видимо, теперь у программистов появилось новое развлечение — запуск нейросети на очень слабых или устаревших устройствах. Например, недавно команде EXO Lab удалось запустить ИИ на компьютере 26-летней давности с процессором Intel Pentium II, а два дня назад, 10 января, пользователь под ником AndreiDavid запустил большую языковую модель на игрово консоли 2005 года выпуска. Да, оказывается, легендарная Xbox 360 отлично подходит для локальной генерации контента при помощи искусственного интеллекта.
Для реализации столь странной задумки пользователь задействовал модель ИИ llama2.c (её же запускали на ПК с Intel Pentium II), написанную на чистом языке программирования C, которую разработал Андрей Карпаты (Andrej Karpathy) — бывший директор по искусственному интеллекту в компании Tesla. Энтузиасту удалось при помощи загрузчика перенести большую языковую модель на консоль и выполнить тестовый запрос, но, естественно, всё было не так уж просто. Программист объяснил, что ему пришлось в значительной мере оптимизировать код LLM для архитектуры PowerPC и с учётом уникальных особенностей управления памятью данной консоли.
Суть в том, что команда EXO Lab запускала llama2.c на процессоре Intel Pentium II, который использует метод хранения данных little-endian, тогда как консоль Xbox 360 работает на процессоре Xenon на базе архитектуры PowerPC, который использует метод big-endian. Соответственно, для реализации корректной работы большой языковой модели, программисту пришлось написать систему перестановки байтов и убедиться, что в конечном итоге подсистема памяти консоли работает корректно. Кроме того, специалисту пришлось решить проблему с унифицированной памятью приставки, чтобы получить достаточно пространства для запуска LLM.
В конечном итоге ему действительно удалось запустить большую языковую модель на достаточно старой игровой консоли, хотя, естественно, скорость генерации контента в данном случае будет крайне ограниченной. Но в данном случае идея заключается в том числе в желании продемонстрировать всему миру, что запускать и работать с искусственным интеллектом можно не только на безумно дорогих мощных компьютерах или на мощностях центров обработки данных. Для этих целей на самом деле подойдут и достаточно слабые устройства десятилетней давности (или даже старее).