Тестування скорингової моделі

Блок «Тестування скорингової моделі» містить розділи:
- Створення нового тесту скорингової моделі;
- Список тестів скорингових моделей;
- Налаштування тестування скорингових моделей.

У розділі «Налаштування тестування скорингових моделей» можна налаштувати параметри побудови тесту скорингової моделі.

Тут можна змінити кількість рядків, на які буде розбитий результат тестування моделі скорингу. Результати будуть згруповані за вказаною кількістю рядків. Але ми рекомендуємо не дуже збільшувати кількість рядків, щоб краще бачити загальну картину. Ми рекомендуємо використовувати від 10 до 25 рядків максимум. А також тут можна також, як і в налаштуваннях створення скорингу, змінити як система повинна розуміти хороший результат і поганий результат у файлі в першій колонці.

У розділі «Створення нового тесту скорингової моделі» створюється тест для активної скорингової моделі. Вам на екрані відобразиться яка скорингова модель зараз активна і для якої буде зроблено тест.
Варто звернути увагу, що в залежності від типу передплати у Вас буде обмежена кількість збережених тестів для однієї моделі. А це означає, якщо користувач досяг ліміту, то перед початком побудови нового тесту буде видалено тест, який був створений раніше, ніж інші. Тому рекомендуємо контролювати актуальні та не актуальні тести самостійно та видаляти неактуальні тести. Ліміт у даному випадку для кожної моделі окремо, а це означає, якщо у користувача ліміт тестів на одну модель – 20, а моделей при цьому 10, то користувач може зберігати до 20 тестів на одну модель, в сумі вийде 200 збережених тестів.

Щоб створити тест, необхідно вибрати файл з даними для аналізу з розширенням .xls або .xlsx у себе на комп'ютері і завантажити його в систему "Scoring Machine". Після цього натиснути на "Створити новий тест". Система зробить ряд перевірок по файлу, якщо при першому спостереженні будуть виявлені якісь невідповідності до вимог файлу, з'явиться помилка. Після недовгої перевірки файлу Scoring Machine розпочне аналіз файлу, про що відобразить повідомлення.

Тривалість створення тесту залежить від обсягу даних для аналізу. Чим більше файл з даними, тим довше система проводитиме аналіз та створювати тест. Це означає, якщо проводиться аналіз для конкретної моделі і користувач вже бачить які атрибути в моделі так чи інакше використовуються, то сміливо можна видалити непотрібні стовпці.

Дуже важливим процесом перед створенням тесту є підготовка файлу правильно, щоб система могла якісніше його проаналізувати.
Додатково до загальних вимог та рекомендацій щодо файлу користувач повинен звернути увагу, що у файлі для тесту повинні бути ті ж атрибути, які відібрані в моделі і називатися атрибути (колонки у файлі) і самі значення атрибутів повинні так само, як вони відібрані в моделі, отже, називалися під час побудови моделі.

З усіма вимогами до файлу можна ознайомитись тут.

Після того, як Scoring Machine завершить створювати тест, він відразу ж відобразиться в загальному списку тестів, а також користувачеві на його email буде надіслано електронного листа з повідомленням про завершення процесу створення тесту. Якщо тест з якоїсь причини не буде створено (наприклад, помилки у файлі, наявність порожніх осередків там, де їх не повинно бути), то про це також буде надіслано електронного листа.

У розділі «Список тестів скорингових моделей» відображені вже створені та збережені тести Scoring Machine. Результати відображені по 10 тестів на сторінку, щоб перейти на наступну/попередню/останню/першу сторінку необхідно натиснути на відповідний символ внизу таблиці.

Для пошуку конкретного тесту, якщо їх багато, можна користуватися пошуком. Для цього необхідно натиснути кнопку «Пошук» у верхньому правому кутку.

Для переходу на потрібний тест достатньо натиснути на рядок у таблиці із цим тестом.

При переході в тест буде відображено назву скорингової моделі, до якої було проведено тест, назву та опис тесту, підсумковий результат Джині тестування.

Назва тесту та його опис зазначається користувачем за бажанням. Ці значення потрібні виключно користувачеві, щоб орієнтуватися, що це за тест на тому чи іншому етапі. Змінити назву тесту та/або опис можна через «Дії». Змінити рекомендується їх відразу після створення тесту.

Також нижче на сторінці в таблиці відображено результати тестування. Результати перевірки згруповані на кількість рядків, яка була вказана в налаштуваннях тестування на момент виконання тесту.

Детальніше про значення у таблиці по результатам тестування:

1. Кількість балів – цей стовпчик відображає інформацію за тими записами у файлі, які набрали вказану кількість балів.
2. Усього записів – загальна кількість записів у файлі із зазначеною кількістю набраних балів.
3. Кількість хороших – кількість записів, зазначених як «хороший» у файлі із зазначеною кількістю набраних балів.
4. Кількість поганих - кількість записів, зазначених як «поганий» у файлі із зазначеною кількістю набраних балів.
5. Частка поганих, % - частка поганих по відношенню до загальної кількості записів із зазначеною кількістю набраних балів.
6. Накопичене. Загальна кількість – загальна кількість записів накопичувальним результатом. Кількість записів у поточному рядку + усі попередні рядки.
7. Накопичене. Усього, % - частка загальної кількості з накопичувальним результатом від загальної кількості записів у всьому файлі.
8. Накопичене. Кількість хороших - кількість хороших записів накопичувальним результатом. Кількість хороших записів у поточному рядку + усі попередні рядки.
9. Накопичене. Хороші, % - частка кількості хороших з накопичувальним підсумком від загальної кількості хороших записів у всьому файлі.
10. Накопичене. Кількість поганих - кількість поганих записів накопичувальним результатом. Кількість поганих записів у поточному рядку + усі попередні рядки.
11. Накопичене. Погані, % - частка кількості поганих із накопичувальним підсумком від загальної кількості поганих записів у всьому файлі.
12. Індекс Джині – основний показник прогнозної сили моделі. Важливо звертати увагу на загальний Джині в самому низу таблиці. Чим вище результат, тим краще і вище прогнозна сила моделі.
Досить якісною моделлю можна назвати, якщо тестування показує результат Джині від 30% та вище. Якщо результат нижче, модель, як правило, використовувати сенсу немає.
Але яка прогнозна сила має бути ще багато залежить від сфери діяльності та можливостей відбору атрибутів для аналізу.
Якщо модель буде з результатом Джині вище 50% або 60%, це вже досить сильна прогнозна модель практично для будь-якої сфери діяльності.

Через «Дії» можна редагувати назву та опис, експортувати всі дані тесту до excel-файлу, видалити тест.

За підсумками проведення тестування необхідно його проаналізувати та визначити чи досить хороша модель або необхідно її ще доопрацьовувати та перебудовувати, а також визначити, які рішення можна приймати на підставі даної моделі.
Детальніше тут.