Тест скорингової моделі. Аналіз підсумкового тесту та його значень

Після завершення створення тесту моделі необхідно його проаналізувати і визначити чи хороша модель чи необхідно її ще доопрацьовувати і перебудовувати, а також визначити які рішення можна приймати на підставі даної моделі.

Детальніше про процес проведення тестування тут.

Насамперед необхідно звернути увагу на підсумковий Індекс Джіні. Він показує прогнозну та поступову силу моделі. А саме наскільки сильна залежність моделі по відношенню до того, що чим більше балів набирає клієнт, тим вища ймовірність, що він буде хорошим.
Якщо індекс Джіні нижче, ніж 30%, то така модель вважається неякісною. І є сенс спробувати ще перебудувати її.
Якщо індекс Джині вищий за 30%-40%, то така модель вважається вже гідною і можлива до використання.
Якщо індекс Джіні у вас більше 60%, можете сміливо бути впевненим, що модель дуже і дуже сильна.
Наступним етапом необхідно визначити поріг накопичення балів, до якого система відмовлятиме в тому чи іншому процесі клієнту.Більше залежить від того, які цілі переслідувалися для створення скорингової моделі, як правило, необхідно визначити поріг поганих клієнтів, яких користувач готовий пропускати виходячи зі своїх вимог і далі вже з цього рядка брати мінімальну кількість балів як мінімальний поріг для проходження скорингової моделі.
Через колонки з префіксом «Накопичено…» можна переглянути скільки і яких клієнтів всього йтиме у відмову в кількісному чи краще у відсотковому співвідношенні при вибраному мінімальному порозі.
Аналізувати модель для більшості користувачів найпростіше в excel. Для цього можна експортувати як скорингову модель, так і тест у Excel.Детальніше про дані, що експортуються в Excel, можна ознайомитися тут.
Як тільки буде створено скорингову модель, яка підійшла за своєю прогнозною силою, обрано мінімальний поріг проходження, можна реалізовувати та впроваджувати скорингову модель у свою систему.
Калібрування будь-якої скорингової моделі періодично все одно потрібне. Як правило, раз на 3 місяці, тому що можуть змінюватися продукти, маркетингові стратегії, сегменти клієнтів, макроекономічні особливості і не тільки це. Багато факторів можуть змінити поведінку клієнта і саме тому не забувайте перевіряти скорингову модель на актуальність через те ж таки тестування та калібрувати або повністю її змінювати та створювати нову модель.
Scoring Machine Вам у цьому допоможе.
Якщо виникають питання щодо використання системи сміливо звертайтеся до підтримки.