На процессоре 50-летней давности, который в 200 000 раз слабее Apple M2 Ultra, смогли обучить модель трансформера. Эксперимент провёл ветеран Microsoft

Он использовал PDP-11

Ветеран Microsoft и один из разработчиков Windows Дэйв Пламмер решил провести эксперимент и попробовать обучить современный ИИ на процессоре почти 50-летней давности.

За основу была взята система PDP-11, которую тогда называли мини-ЭВМ. Это установка массой около 30 кг родом из 1979 года, внутри которой установлен процессор с частотой 6 МГц и 64 кБ оперативной памяти.

На ней Пламмер запустил модель трансформера под ATTN-11, созданную на языке ассемблера PDP-11.

Задача, которую автор дал на обучение системе, заключается в том, что ей нужно перевернуть последовательность из восьми цифр. Для успешного выполнения каждой входной задачи модель должна выучить структурное правило. Как считает Пламмер, эта особенность отражает суть работы современных моделей обучения с линейным выводом, включая ту же GPT.

В итоге, несмотря на невероятную архаичность системы, обучение прошло более чем успешно. Автору удалось добиться точности в 100%, на что ушло около 350 шагов. Более того, это заняло лишь 3,5 минуты.

Напомним, компьютер PDP-11, согласно проведённому тем же Пламмером в прошлом году сравнению, в 200 000 раз слабее SoC Apple M2 Ultra, и это только в однопоточном режиме.