Ускорить инференс модели типа T5 xxl
Цель: Ускорить инференс модели, разработанной для уникализации текстов, в 2 раза.
Исходные данные:
• Репозиторий модели пришлю в лс
• Модель использует T5ForConditionalGeneration с нестандартными параметрами lex_diversity и order_diversity
Требования:
1. Анализ текущей реализации: Ознакомиться с текущей реализацией модели и понять, где можно оптимизировать процесс инференса.
2. Оптимизация кода: Предложить и реализовать изменения в коде, направленные на ускорение инференса. Это может включать оптимизацию алгоритмов, использование более эффективных библиотек, улучшение параллелизма и т.д.
3. Оптимизация параметров: Рассмотреть возможность оптимизации параметров lex_diversity и order_diversity для улучшения производительности, не теряя качества генерации текста.
4. Тестирование и валидация: Провести тестирование до и после оптимизации, чтобы убедиться, что скорость инференса возросла в 2 раза, а качество работы модели осталось на прежнем уровне.
5. Документация: Подготовить подробную документацию по внесённым изменениям, чтобы команда могла понять и поддерживать новые улучшения.
Инфраструктура: Инфраструктура для тестирования, включая доступ к машине с GPU, будет предоставлена.
Ожидаемые результаты:
• Ускорение инференса модели в 2 раза.
• Сохранение качества работы модели на прежнем уровне.
• Подробная документация по внесённым изменениям.
Инфраструктура: Т