Coinbase использует машинное обучение для смягчения трафика
0
Природа криптовалютных рынков такова, что трафик на Coinbase может увеличиться неожиданно. Традиционные методы масштабирования баз данных в ответ на скачки трафика часто оказывались недостаточными, поскольку слишком медленно реагировали на внезапные изменения. Учитывая это, Coinbase разработала автоматизированное решение для масштабирования на основе МО, сообщается в статье биржи.
Новая система предсказывает скачки трафика еще перед их возникновением, позволяя платформе масштабировать свои ресурсы до, а не после, чтобы обеспечить бесперебойную работу.
Подходы и проблемы масштабирования баз данных.
Хотя многие веб-сервисы могут масштабироваться горизонтально (путем добавления новых машин), для баз данных этот метод создает особые проблемы. Горизонтальное масштабирование предполагает добавление новых узлов или реплик, но этот процесс идет медленно из-за времени, необходимого для восстановления из них данных.
Учитывая многие ограничения, новое решение Coinbase должно было запускать масштабирование до скачков трафика, а не после. Поэтому Coinbase обратилась к МО для применения предиктивного подхода.
Модель МО для прогнозируемого масштабирования.
В основе решения Coinbase лежит классификационная модель, которая предсказывает, превысит ли трафик определенный порог в течение следующих нескольких часов. Эта модель объединяет данные о текущей нагрузке на платформу и внешние факторы, такие как колебания цен на криптовалюту, которые, как известно, коррелируют со скачками трафика. Расчеты модели показывают, какой объем трафика должна выдерживать инфраструктура в каждый момент времени.
Реализация и преимущества.
За целевым значением масштаба следит модуль Auto-Scaler, который по мере необходимости регулирует производительность базы данных. Если прогнозируемый трафик превышает текущий целевой уровень, система упреждающе увеличивает масштаб. Если трафик остается ниже, система уменьшает масштаб для экономии ресурсов.
Такой подход не только гарантирует, что платформа сможет справиться со скачками трафика без простоев, но и оптимизирует затраты на инфраструктуру, избегая ненужного резервирования.
Новое решение позволяет Coinbase лучше управлять своими ресурсами, поддерживая надежный и отзывчивый сервис для пользователей.