FineTuning модели GPT2 и подготовка датасета

Существуют наши наработки проекта по подсказкам Python кода в IDE на основе NLP модели GPT2 дообученной на 470мб Python кода.

Необходимо заменить модель GPT-2-large на ruGPT3-large и дообучить модель с помощью DeepSpeed. Для генерации и оптимизации FineTuning-a использовать библиотеку Transformers.

Основной упор при решении задачи необходимо уделить сборку и подготовке датасета из JavaScript кодов.

Более подробную информацию о задаче и методах ее решения можно найти в нашем репозитории https://github.com/Ivolutionnow/ivolution-backend

Telegram для связи: @AlexanderBacheenin