Microsoft Azure Machine Learning

Вадим Челышков, Azure TSP

Машинное обучение — процесс, в результате которого

машина (компьютер) способна показывать поведение,

которое в нее не было явно заложено (запрограммировано)

(Arthur Samuel, 1959)

Говорят, что компьютерная программа обучается на основе

опыта E по отношению к некоторому классу задач T и меры

качества P, если качество решения задач из T, измеренное на

основе P, улучшается с приобретением опыта E.

(Tom Mitchel, 1998)

Что такое Машинное Обучение?Это компьютерные системы, которые становятся умнее с полученным опытом.

Виды машинного обучения

Машинное

обучение

Машинное

обучение

Машинное

обучение

Индуктивное

обучение

Обучение с

учителем

Обучение без

учителя

Обучение с

подкреплением

Дедуктивное

обучение

Обучение с учителем

Такое обучение можно рассматривать как игру

двух лиц: ученика, который должен

восстановить зависимость, и учителя, который для

объектов из обучающей выборки

указывает ученику соответствующий им выход.

Обучение без учителя.

В этом случае нет учителя и «обучающая

выборка» состоит только из объектов.

Ученик, имея только список объектов

должен определить, как

объекты связаны друг с другом.

Виды индуктивного машинного обучения

Процесс машинного обучения

Определение

задачи

Сбор и

подготовка

данных

Обучение

модели

Проверка

результата

Работа

Обучающая выборка (training

sample) — выборка, по которой

производится настройка

(оптимизация

параметров) модели

зависимости.

Тестовая (или контрольная)

выборка (test sample) — выборка,

по которой оценивается качество

построенной модели.

Чем машинное обучение может вам помочь?

Социальные медиа

Предсказание погоды

Медицинская диагностика

Диагностическое обслуживание

Таргетированная реклама

Разведка природных ресурсов

Детектирование спама

Анализ данных телеметрии

Программы лояльности

Анализ оттока клиентов

Научные исследования

Оптимизация веб-приложений

Обнаружение сетевых атак

Умные системы мониторинга

Azure Machine Learning – облачный сервис

для выполнения задач прогнозной

аналитики (predictive analytics).

Сервис представлен двумя компонентами:

Azure ML Studio – средой разработки,

доступной через web-интерфейс, и web-

сервисами Azure ML.

Определение Azure ML

Внешние и

внутренние

источники

Контрольные панелиОтчеты Вопросы

Мобильные

устройства

Управление

информациейПодготовка данных ETL Предсказания

Реляционные

СУБД NoSQL OLAP

Приложения

Потоки данных

Data

Azure ML

Решение любых аналитических задачРезультаты вычислений всегда будут доступны для пользователей, везде.

Сбор и подготовка данных

Импорт данных:

• Импорт данных из SQL, Azure HD,

Azure Blob & Tables

Преобразования данных:

• Добавления недостающих значений,

очистка, нормализация, группировка

Определение контекста:

• Отношения, связи, корреляции,

особенности, построение

дескриптивной статистики

Задача

Сбор и

подготовка

данных

Обучение

модели

Проверка

результата

Работа

Работа с обучающей выборкой

Разделение данных:

• Частичные срезы, деление пополам,

выборка образцов

Обучение:

• РегрессияБайесовская линейная, Линейная R,Порядковая

регрессия,ANN….

• Классификация«Усиленные деревья принятия решений», «Лес

решений», «Джунгли решений», «Логистическая

регрессия»,SVM,ANN…

• КластеризацияK-means («метод k-средних»)

• Поиск аномалийPCA (Principal Component Analysis)

Задача

Сбор и

подготовка

данных

Обучение

модели

Проверка

результата

Работа

Оценка моделиплохие примеры (True Negative, TN)

Задача

Сбор и

подготовка

данных

Обучение

модели

Проверка

результата

Работа

(True Positive, TP) - хорошие примеры

(True Negative, TN) - плохие примеры

Где:

Что дальше?

• Опубликуйте ML-модель как веб-сервис

• Настройте работу с API

• Опубликуйте результат в Azure Marketplace

Задача

Сбор и

подготовка

данных

Обучение

модели

Проверка

результата

Работа

Примеры

Microsoft Azure Machine Learning в действии:

Cortana

Данные интегрируются из ERP системы

Dynamics AX, на их основании

прогнозируется потребительский

спрос на товары.

В качестве обучающей выборки

используются данные о продажах за

последние три года.

Цель внедрения технологий машинного

обучения состоит в создании

мониторинговой системы с

возможностью прогнозирования

отказов оборудования. Данные

(включая коды ошибок и

диагностическую информацию)

собираются с датчиков и отправляются

на концентраторы событий в Azure.

2 интересных кейса из мировой практики

spellabs.R-pricer

ПредпосылкиОптимизация цены поэтапно увеличивает продажи и прибыль. Исследование Yankee

Group показывает, что возврат инвестиций от подобных систем приближается к 20%.

Принцип работы

1. Спрос на каждый товар зависит (уменьшается) от цены на него в данном магазине.

2. Спрос на товар зависит (увеличивается) в зависимости от цены на товар-заменитель.

Вывод: для прогнозирования спроса на данный товар надо учитывать цены на группу

товаров.

Принцип работы

1. Регрессия. Для каждого товара находим зависимость спроса на него в

зависимости от магазина и цен на группу товаров.

Спрос на товар 1 = f1(Магазин, Цена1, …, Цена5, Другие факторы)

….

Спрос на товар 5 = f5(Магазин, Цена1, …, Цена5, Другие факторы)

2. Оптимизация. Находим максимум суммарного ожидаемого оборота (по

всем товарам по всем магазинам) как функцию от вектора цен на товары.

Целевая функция:

Ожидаемый оборот по всем товарам по всем магазинам = Сумма по магазинам(Ц1 * f1(Мi, Ц1,…,Ц5) + … + Ц5 * f5(Мi,

Ц1,…,Ц5))

Ограничения: диапазоны цен

Задача оптимизации: найти цены, при которых ожидаемый оборот максимален.

Алгоритм работы системы оптимизации ценMicrosoft Azure Machine Learning

21

Моделирование

спроса

Рекомендуемые

цены

Проверка на соответствие

ценовым и маркетинговым

стратегиям, действующему

законодательству РФ

Чеки

Цены конкурентов

(опционально)

Оптимизация вектора

цен на группу

товаров

Вывод цены на ценник

Выявление кластеров

и групп товаров

Модель R-Pricer v.0.1 в Azure ML

R код расчёта оптимальных цен

Анализ и оценка построенной модели по каждой товарной группе

Первый график – сведение фактических данных и полученных из

построенной модели спроса.

Коэффициент корреляции corr= 0,984

Идеальная линия – 45 градусов

Второй график – распределение ошибок

Идеальный график – нормальное распределение

Обратите внимание на приложения

в магазине:

datamarket.azure.com

Попробуйте AzureML бесплатно на сайте:

azure.com/ml

Спасибо!