FineTuning модели GPT2 и подготовка датасета
Существуют наши наработки проекта по подсказкам Python кода в IDE на основе NLP модели GPT2 дообученной на 470мб Python кода.
Необходимо заменить модель GPT-2-large на ruGPT3-large и дообучить модель с помощью DeepSpeed. Для генерации и оптимизации FineTuning-a использовать библиотеку Transformers.
Основной упор при решении задачи необходимо уделить сборку и подготовке датасета из JavaScript кодов.
Более подробную информацию о задаче и методах ее решения можно найти в нашем репозитории... Читать дальше...