Машинное обучение присутствует в нашей жизни, хотим мы этого или нет.
По мере развития решений с открытым исходным кодом машинное обучение способно предоставлять больше возможностей людям, чем его первые годы. Предоставляя нам больше преимуществ с большим количеством алгоритмов, он начал предоставлять мгновенные услуги все проще и проще. Давайте теперь посмотрим на этот процесс изменений:
Вы можете продолжить чтение статьи после просмотра моего видео.
Во-первых, мы создаем модель для данных и используем выходные данные этой модели один раз.
Поговорим о примерах
· Предположим, что ваша компания хочет провести кампанию и отправить электронное письмо клиентам, которые могут захотеть купить ваш продукт, один раз в год. В следующем году ваша компания хочет продавать разные вещи разным клиентам. И вам придется создать новую модель.
Мы строим модель и периодически обновляем выходные данные модели, используя эту модель. Выходные данные модели обновляются новыми данными каждый день, неделю или месяц.
Давайте поговорим о примерах.
· Модели оттока или риска таковы. Эти модели требуют большого количества данных, которые трудно подсчитать аналитически. Нам нужна система DWH для расчета этих переменных. Успех моделей риска должен быть одобрен владельцами продукта, вы не можете изменить эти модели автоматически.
Мы строим модель и используем ее в данных в реальном времени:
В таких архитектурах вы столкнетесь с трудностями, которых никак не ожидали. Для некоторых операций, которые были очень простыми в предыдущих архитектурах, у вас возникнут гораздо большие трудности. Например, нормализация сейчас для вас довольно сложна. Вы хотите использовать нормализацию минимум-максимум, и вы увидите, что минимальные и максимальные значения меняются во времени. Нормализация Z-показателя не так проста. Вы должны рассчитать все значения, необходимые для нормализации с помощью системы временных окон. Прежде чем окно не закрыть, вы должны начать новое окно для расчета. Вы не можете использовать библиотеку для этого расчета. Вы должны написать все это от руки. Я напишу еще одну статью об этой проблеме и о том, как их исправить.
Еще одна большая проблема — производительность системы. В пакетной системе не имеет значения, медленно или быстро работает ваш конвейер. С другой стороны, в системе реального времени все проблемы и все показатели жизненно важны.
Для повышения производительности вы можете использовать spark или java для запуска модели и получения данных. Kafka, NoSQL или Cache лучше, чем базы данных, для получения больших данных. Если есть проблема в системе реального времени, вам понадобятся выходные данные пакетной модели для плана B. Вы должны учитывать производительность системы TPS (транзакций в секунду). Слабая часть вашей системы может привести к сбою всей вашей системы.
Не забывайте, что производительность вашей системы будет определяться самым слабым звеном вашей системы.
Большие трудности приходят с большими достижениями.
Так почему же вы должны преодолевать эти трудности?
Поговорим о примерах
Поведение клиентов меняется за секунды в розничной торговле и телекоммуникациях.
· Если у вашего сотового телефона закончился пакет данных, вы не купите голосовой пакет или новый сотовый телефон. Вы купите новый пакет данных или измените свой план.
· Вы должны предлагать семейный автомобиль, а не спортивный автомобиль, семье, которая покупает подгузники или детское питание (или пиво)
По моему личному опыту, такая архитектурная эволюция обеспечивает как минимум пятикратный рост успеха.
В некоторых компаниях, где большое влияние оказывает сезонность или продукты меняются очень часто, модели должны меняться постоянно. Если продукт, который хорошо продавался в вашей модели, больше не продается на рынке, вы потеряете деньги.
В противном случае эта архитектура несет в себе много рисков. В этой архитектурной модели нелегко ответить на два вопроса: как вы будете измерять свой успех и будете ли вы автоматически менять модель?
В архитектуре такого типа очень важно иметь систему, работающую круглосуточно и без выходных, и операционный блок, который следит за успехом.
Многие из вас могут не поверить, столкнувшись с этой архитектурой. Но многие крупные компании, которые предоставляют вам онлайн-услуги, постоянно трогают вас этими системами. Например, Netflix меняет свои предложения после просмотра фильма, как и YouTube.
Эта архитектура сложна в некоторых алгоритмах (деревьях решений). Но это легко сделать с помощью простых алгоритмов, таких как анализ корзины.
Краткое содержание
Вы можете выбрать одну из этих архитектур в соответствии с потребностями вашего бизнеса и продолжить свой путь. Я рекомендую вам перейти к более высоким архитектурам, поднимаясь на эти уровни один за другим.
Спасибо за ваше время.
