В двух словах, MLOps фокусируется на устранении препятствий между планированием проектов машинного обучения и развертыванием, эксплуатацией, переобучением и масштабированием этих моделей в производственной среде.
Чем ниже затраты на создание и развертывание моделей машинного обучения в организациях, тем выше может быть положительное влияние машинного обучения.
Производственное использование нескольких экземпляров модели машинного обучения в организации является важной основой для создания циклов обратной связи для постоянного повышения производительности модели.
Развертывание модели машинного обучения в нескольких командах может сопровождаться положительным «побочным эффектом» повышения качества прогнозирования модели с течением времени.
Таким образом, организации, способные ускорить создание моделей машинного обучения, интегрировать эти модели с существующими и будущими корпоративными приложениями и постоянно отслеживать дрейф и погрешность, должны иметь возможность получить значительные конкурентные преимущества по сравнению с остальными.
Достижение этого конкурентного преимущества зависит от способности организации предоставить специалистам по обработке и анализу данных и инженерам данных возможность непрерывно снабжать команды разработчиков программного обеспечения возможностями машинного обучения, необходимыми им для улучшения своих приложений. Именно это и было ключевым критерием оценки инфраструктуры и платформ данных Топ-3 EMA для корпоративных решений для MLOps. На диаграмме наглядно показано, как группы специалистов по обработке и анализу данных сосредотачиваются на создании моделей обучения (см. диаграмму слева ниже), которые затем используются разработчиками программного обеспечения (диаграмма справа).
Три основные задачи MLOps
Чтобы раскрыть конкурентное преимущество быстрого развертывания машинного обучения и постоянного повышения производительности моделей, организациям необходимо решить три критически важные проблемы.
1. Максимальное повышение производительности специалистов по обработке и анализу данных
Специалисты по данным представляют собой самый редкий и, следовательно, самый дорогой фактор в процессе MLOps. Чем больше мы позволяем специалистам по обработке и анализу данных сосредоточиться на своей основной задаче по созданию эффективных моделей машинного обучения, тем большую ценность организация будет извлекать из этой ключевой персоны.
Идеальная платформа должна обеспечивать унифицированную структуру для упрощения и улучшения разработки функций, доступа к данным и управления ими, экспериментов и мониторинга моделей, что является четырьмя основными ежедневными задачами для специалистов по данным. Здесь крайне важно предоставить согласованные процессы и инструменты для специалистов по данным, чтобы они могли эффективно работать в центрах обработки данных, общедоступных облаках и периферийных местоположениях. Ресурсы данных и инфраструктуры должны «следовать» за специалистом по данным, независимо от конкретных требований проекта. Конечная цель здесь — позволить специалисту по данным оставаться в своей любимой Python IDE (интегрированной среде разработки), не беспокоясь о запросе инфраструктуры, инструментов или разрешений с помощью ручных процессов.
2. Повышение производительности специалистов по обработке данных
Инженеры данных отвечают за создание, управление, мониторинг и масштабирование конвейеров данных и моделей машинного обучения. Платформы и процессы MLOps должны быть сосредоточены на автоматическом предоставлении инженерам данных согласованного набора ресурсов инфраструктуры, необходимых для подключения, очистки, нормализации, объединения, обогащения, обработки и хранения данных, необходимых для создания моделей машинного обучения.
Согласованность инструментов и эффективное управление конвейером в основном занимают первое место в списке проблем для инженеров данных, за которыми следуют доступ к данным и мониторинг. Это приводит нас к основному набору требований к оптимальной платформе для обработки данных: единый набор инструментов, конвейеров и средств мониторинга, который «следует» за каждым специалистом по обработке данных для достижения оптимальной эффективности.
3. Максимизация продуктивности разработчиков
Чтобы извлечь выгоду из моделей машинного обучения, разработчикам программного обеспечения необходимо сопоставить требования приложений с возможностями текущих моделей машинного обучения. Если подходящих моделей нет, они должны иметь возможность сотрудничать с учеными по данным, чтобы быстро определить экономическую эффективность настройки существующих моделей или создания совершенно новых моделей.
Возможность легко оценить пригодность моделей машинного обучения для конкретного варианта использования возглавляет список проблем, с которыми сталкивается разработчик. Чтобы решить эту проблему, разработчикам нужна возможность легко развертывать и тестировать модели обучения, которые, по их мнению, лучше всего подходят для их целей. В идеале платформа MLOps должна предоставить разработчикам хранилище моделей, позволяющее опробовать существующие модели без предварительных знаний или значительных затрат.
Интеграция моделей машинного обучения с их существующим конвейером DevOps занимает второе место в этом списке, а получение доступа к необходимым данным и развертывание окончательного приложения, основанного на машинном обучении, занимают третье и четвертое место в нашем списке задач.
