У OpenAI проблемы с GPT-5 Orion - не хватает денег и данных для обучения
OpenAI уже провела несколько длительных и затратных этапов обучения, но результаты не удовлетворили разработчиков. Показатели Orion незначительно лучше, чем у предыдущих продуктов компании. Этого недостаточно, чтобы оправдать затраты на создание и поддержание работы модели. Разработка Orion уже обошлась примерно в $500 миллионов, если учитывать только расходы на вычислительные ресурсы.
Запуск ChatGPT 2 года назад спровоцировал бум ИИ и повышенный интерес к этой области. Ожидалось, что в ближайшие годы компании потратят на развитие технологии до $1 трлн. OpenAI столкнулась не только с ошеломительным успехом, но и с завышенными ожиданиями клиентов и инвесторов.
Если новая модель покажет посредственные результаты и преодолеть эту проблему не удастся, компания Альтмана потеряет деньги и репутацию.
Октябрьский раунд финансирования OpenAI оценил её стоимость в $157 миллиардов. Одна из основных причин этого — большие надежды на GPT-5. Модель должна осилить задачи, которые до сих пор слишком сложны для ИИ: например, помочь делать научные открытия или собирать корзину с покупками в интернет-магазинах. Кроме того, исследователи надеются, что GPT-5 будет реже давать неверные сведения.
Чтобы понять, что стоит за разработкой GPT-5, важно знать, что её тестируют на разных задачах, включая математику и программирование. Оценка работы моделей происходит интуитивно, и пока нет четких критериев, чтобы точно сказать, когда модель будет готова. Тесты требуют огромных вычислительных мощностей, так как для обучения таких моделей нужно обработать триллионы токенов. Например, обучение GPT-4 стоило около $100 млн. Ожидается, что для новых моделей расходы могут достичь $1 млрд.
В прошлом году OpenAI провела пробное обучение модели Orion, но результаты не оправдали ожиданий. Разработчики поняли, что для успешного обучения нужно больше материалов. Доступных данных, включая информацию из Интернета, оказалось недостаточно. Тогда компания начала создавать собственные "учебные пособия". Для этого наняли специалистов, которые решали математические задачи и писали пояснения для улучшения обучаемости Orion.
Вопреки надеждам разработчиков, применение синтетических данных не дало хороших результатов. Использование других ИИ-систем для генерации учебных материалов привело к сбоям и неадекватным ответам. Чтобы решить эту проблему, в OpenAI создали модель o1, которая генерирует данные, анализируя их и сравнивая несколько вариантов решений.
К началу 2024 года стало ясно, что OpenAI не хватает времени. GPT-4 уже работала год, а конкуренты приблизились к ее уровню. Компания решила снова попытаться улучшить Orion, но столкнулась с проблемой: собранные данные оказались недостаточно разнообразными. Этот недостаток проявился только в ходе крупномасштабного теста, который начался в мае 2024 года. Потребовалось больше времени, чтобы найти подходящие источники данных, но пока неясно, насколько успешными будут эти усилия.
Проблемы с Orion заставили исследователей искать новый подход. В компании решили сделать ставку на развитие модели, которая будет уметь рассуждать. Такие модели помогают решать задачи, которые не были заранее учтены в процессе обучения. Ожидается, что Orion будет использовать эту способность вместе с большими объемами данных, которые будут созданы как ИИ, так и людьми. Однако в OpenAI https://www.wsj.com/tech/ai/openai-gpt5-orion-delays-639e769..., что работа с рассуждающими моделями требует больше ресурсов, так как для каждого вопроса генерируется несколько ответов, что значительно увеличивает затраты.
Разработчики надеются, что объединение технологий поможет создать более умную и эффективную модель, способную решать более сложные задачи. Однако проблемы и высокие затраты показывают, что запуск Orion может закончиться провалом.