Система Scoring Machine. Создание скоринговой модели

Создание скоринговой модели

Блок «Создание модели» содержит разделы:
- Создание новой модели;
- Список моделей;
- Настройки создания модели;
- Расширенные настройки создания модели.

Illustration

В разделе «Настройки создания модели» можно настроить параметры построения скоринговой модели.

Illustration

Можно указать как именно в файле, который будет загружаться для создания скоринговой модели и тестирования, будут отмечены «Хорошие» и «Плохие» результаты в первой колонке файла. Или можете оставить стандартные названия для хорошего и плохого, но тогда именно так в файлах их называть и нужно.
Также можно выбрать уровень качества модели. Чем выше уровень, тем лучше будет модель! Но! Если в Вашем списке данных есть слабые зависимости, Вам нужно выбрать соответствующий уровень качества модели. Я рекомендую начинать с уровня 2, который используется по умолчанию. Уровень 2 и уровень 3 считаются лучшими для большинства случаев и списков. Но Вы можете попробовать построить разные модели, с разными настройками и после тестирования выбрать для себя лучший вариант.
Уровень качества влияет на то, на сколько влиятельные атрибуты система при создании модели будет искать, это значит, что чем выше уровень качества модели стоит, тем более весомые атрибуты будут искаться. Но, если таких атрибутов обнаружено не будет или их будет мало, то и модель будет не качественная. Поэтому важно подобрать уровень качества модели под качество самой выборки. Снова рекомендую начинать с 2 или 3 уровня.
Обычно для создания качественной модели достаточно найти от 8 до 12 атрибутов. Если в итоге атрибутов больше 20, то можно смело попробовать построить заново модель, но с более высоким качеством модели в настройках.
Для изменения настроек или восстановления по умолчанию можно воспользоваться кнопкой «Активности» в правом верхнем углу.
В разделе «Расширенные настройки создания модели» есть также возможность расширенных настроек для пользователей с подпиской 5 уровня, где возможно более детально настроить алгоритм отбора влиятельных атрибутов для создания модели.О расширенных настройках можно прочесть здесь.
В разделе «Создание новой модели» происходит процесс создания скоринговой модели.

Illustration

Важно отметить, что в каждой подписке есть свои ограничения на количество одновременно сохраненных моделей. Поэтому, если на начало построения новой модели этот лимит будет исчерпан, то система самостоятельно удалит модель и все тесты к ней, которая была создана раньше остальных. Поэтому, чтобы избежать такого автоматического удаления модели, лучше контролировать количество сохраненных моделей самостоятельно в рамках лимита действующей подписки или же изменить подписку. Контролировать можно через удаление ненужных моделей самостоятельно. При удалении модели все тесты к ней (если они есть) будут тоже удалены.
Чтобы создать модель необходимо выбрать файл с данными для анализа с расширением .xls или .xlsx у себя на компьютере и загрузить его в систему «Scoring Machine». После этого нажать на «Построить новую модель». Система сделает ряд проверок по файлу, если при первом наблюдении будут выявлены какие-то несоответствия к требованиям для файла, отобразится ошибка. После недолгой проверки файла Scoring Machine начнет анализ файла, о чем отобразит уведомление.
Длительность создания модели зависит от объема данных для анализа. Чем больше файл с данными, тем дольше система будет проводить анализ и строить модель. Это значит, если проводится анализ одного и того же файла уже несколько раз, но с другими настройками для создания скоринговой модели, то смело можно удалить ненужные столбцы, например, те, которые после первых анализов показали незначительную информационную ценность для модели.
Очень важным процессом перед построением модели является подготовка файла правильно, чтобы система могла качественнее его проанализировать.Со всеми требованиями к файлу можно ознакомиться здесь.
После того, как Scoring Machine завершит создавать модель, она сразу же отобразится в общем списке моделей, а также пользователю на его email будет отправлено электронное письмо с уведомлением о завершении процесса создания модели. Если модель по какой-то причине не будет создана (например, ошибки в файле, наличие пустых ячеек там, где их быть не должно), то об этом пользователю также будет отправлено электронное письмо.
В разделе «Список моделей» отображены уже построенные и сохраненные модели в Scoring Machine. Результаты отображены по 10 моделей на страницу, чтобы перейти на следующую/предыдущую/последнюю/первую страницу необходимо нажать на соответствующий символ внизу таблицы.

Illustration

Для поиска конкретной модели, если их много, можно воспользоваться поиском. Для этого необходимо нажать на кнопку «Поиск» в верхнем правом углу.

Для перехода на нужную модель достаточно нажать на строку в таблице с этой моделью.

При переходе в модель интерфейс разделен на три раздела:

- Общая информация;
- Скоринговая модель;
- Тесты скоринговой модели.

Illustration

В разделе «Общая информация» можно найти название модели, ее описание, когда модель была создана и когда было последнее редактирование. Также здесь отображен статус модели.

Illustration

Название модели и ее описание указывается пользователем по желанию. Эти значения нужны исключительно пользователю, чтобы ориентироваться что это за модель на том или другом этапе. Изменить название модели и/или описание можно через «Действия». Изменить рекомендуется их сразу же после создания модели.

Также ниже на странице в таблице отображены все атрибуты из файла, а также их информационная ценность. Чем выше % в информационной ценности, тем ценнее и важнее атрибут. Соответственно, если оценка сильно низкая, то и важность этого атрибута незначительная, такие атрибуты лучше не использовать в итоговой модели.

В разделе «Скоринговая модель» будет уже сформированная модель. А именно все атрибуты с необходимыми данными по каждому из них. Чтобы раскрыть атрибут с информацией по нему необходимо нажать на строку с атрибутом.

Illustration

Самое важное здесь, это значение атрибута и рядом итоговое количество баллов, если по при построении прогноза в атрибуте будет именно такое значение. Все остальные параметры атрибута носят информативный характер в первую очередь для продвинутых пользователей, кто глубоко ознакомлен с построением скоринга для их собственного анализа, при необходимости и желании.
Также, если у пользователя есть желание, он может изменить скоринговый балл по конкретному значению атрибута, для этого нужно нажать на соответствующую кнопку рядом со скоринговым баллом и изменения сохранятся в модели.Это функция сделана с целью предоставления возможности небольших корректировок, которые пользователь может знать безусловно. После своих корректировок можно также повторить тестирование скоринговой модели.
Детальнее о значениях всех отображенных параметров в каждом атрибуте описано здесь.
В разделе «Тесты скоринговой модели» сгруппированы тесты по открытой скоринговой модели и отображена основная информация по итогам тестов. Также после раскрытия теста прямо с модели можно перейти на страницу теста через кнопку.

Illustration

Через «Действия» можно активировать/деактивировать модель для проведения теста по ней, редактировать название и описание, перейти на создание нового теста для модели, экспортировать все данные модели в excel-файл, удалить модель.