Гринчук Александр - Практическое применение Data mining технологий-ооо «нанотех»ибмт - БГУ
Download as PPTX, PDF0 likes1,199 views
Документ освещает текущее состояние применения технологий data mining в различных отраслях, делая акцент на проблемах, связанных с качеством и сбором данных. Подчеркиваются недостатки ручного прогнозирования и важность предобработки данных, а также приводятся примеры ошибок в анализе. В заключении рекомендуется использовать простые и прозрачные алгоритмы вместо сложных в условиях недостатка данных.
Гринчук Александр - Практическое применение Data mining технологий-ооо «нанотех»ибмт - БГУ
- 1. Практическое применение Data Mining-технологий Гринчук Александр ООО «Нанотех» ИБМТ БГУ
- 2. Текущее состояние дел Точно знаем надо Примерно знаем почему Плохо знаем как 2
- 3. Национальные особенности Банки – в аутсайдерах Лидеры: телеком и игровая индустрия Торговые сети: сдержанный интерес 3
- 4. Данные Собираются не для анализа Собираются не всегда, когда можно Собираются некачественно 4
- 5. Проблемы Малая выборка Несоблюдение чистоты Недооценка динамики Недоверие к первым результатам 5
- 6. «Малые» данные Много для статистики Мало для автоматизации Пример: прогнозирование 6
- 7. «Ручное» прогнозирование Много для статистики Мало для DataMining 7
- 8. «Ручное» прогнозирование Много для статистики Мало для DataMining 8
- 9. «Ручное» прогнозирование Стратегия: выявить шаблоны «вручную» применить автоматически 9
- 10. Несоблюдение чистоты Сложность выявления Сложность обработки Последствия серьезнее, чем кажутся на первый взгляд 10
- 11. Примеры (реальные случаи) ошибки при вводе марки автомобиля: 14 (!) вариантов написания марки “Mercedes”. DEU указано вместо DAEWOO в 6-ти анкетах, все заемщики рассчитались с кредитом. Ошибочный вывод: наличие автомобиля марки DEU свидетельствует о высокой надежности клиента; указана область проживания как БРЕСЦКАЯ (4 случая – все «плохие»). На практике выяснилось, что значимость региона не столь высока; количество не столь очевидных примеров велико. Доля строк хотя бы с одной ошибкой, опечаткой или пропуском может достигать 70%. 11
- 12. Сравним Между прочим: алгоритмы разрабатывались для первой ситуации! Требования теории Банковская практика Образцы для исследования берутся в одинаковых условиях 12 Клиенты приходят в разное время и их качественный состав меняется Измерения производятся точно, результаты тщательно регистрируются Работают люди: ошибаются, пропускают, путают Отбираются образцы в пропорциях, отражающих реальное положение дел Есть сведения только о клиентах, получивших одобрение на выдачу кредита
- 13. Способ решения Предобработка данных Модификация алгоритмов 13
- 15. Недооценка динамики Банки: старение кредитов Отток: смешивание групп Причина: из-за недостатка данных объединяются наблюдения за относительно большой промежуток времени 15
- 16. Эффект старения Ложное ощущение опасности, из-за роста доли «старых» 16 8% 7% 6% 5% 4% 3% 2% 1% 0% янв.10 фев.10 мар.10 апр.10 0 2 4 6 8 10 12 14 16
- 17. Отток клиентов Три группы, не одна Остались «упрямые», а не улучшилась ситуация 0.7 0.6 0.5 0.4 0.3 0.2 17 1 2 3 4 5 0.1 0 2 4 6 8 10 0.5 0.4 0.3 0.2 0.1
- 18. Недоверие к результатам Требование «обзорности» Требование «привычности» Результат должен «выражаться в денежных единицах» 18
- 19. Ошибки Заранее задаются: вид результата ограничения по набору данных Ошибки бывают в разные стороны 19
- 20. Пример: успеваемость Факторный анализ: 2 фактора Прогноз = Коэффициент0 +Коэффициент1 × Фактор1 + Коэффициент2 × Фактор2 № Фамилия МЕНЕДЖ МАТЕМ_1 ОСЕ ЭКОН_1 ИТ МАТЕМ_2 БУХУЧЕТ ЭКОН_2 77 … 7 2 6 4 7 6 6 7 78 … 8 4 7 4 5 6 7 7 79 … 6 6 7 3 5 4 7 7 80 … 7 9 7 7 8 8 9 9 81 … 10 5 5 7 8 9 8 8 82 … 6 4 5 4 6 4 6 6 83 … 7 8 6 7 8 7 10 8 84 … 9 4 8 7 8 4 8 8 85 … 9 10 9 9 9 9 9 9 86 … 4 2 4 2 4 2 5 5 20 Входные поля Корреляция с выходными полями № Поле Фактор 1 Фактор 2 1 МЕНЕДЖ 0,842 0,083 2 МАТЕМ_1 0,881 0,249 3 ОСЕ 0,804 0,396 4 ЭКОН_1 0,951 -0,172 5 ИТ 0,784 -0,536 6 МАТЕМ_2 0,901 -0,185 7 БУХУЧЕТ 0,846 0,058 8 ЭКОН_2 0,92 0,101
- 21. Отслеживание динамики -2 -1,5 -1 -0,5 0 0,5 1 1,5 2 2,5 21 2 1,5 1 0,5 0 -0,5 -1 -1,5 -2 -2,5 -3
- 22. Игнорирование известного Результаты отличаются от соседей и аналогичных организаций? Причина ошибка или особенности? Пример: продажи мобильных телефонов, особенности для категории «Образование среднее специальное» 22
- 23. Доведение до результата 23
- 24. Ограничения по алгоритмам Интерпретируемые Проверяемые Необходимость взаимопроверки 24
- 25. Пример: деревья решений 25
- 26. Пример: карты Кохонена 26
- 28. Кластеризация и деревья решений 28
- 29. «Госзаказ» Тестирование Складские задачи 29
- 30. Тестирование Применение ассоциативного анализа 30
- 31. Платформа Требования Гибкость в работе Удобство вместо наворотов Возможность маневра 31
- 32. Алгоритмы Дерево решений Логистическая регрессия Самоорганизующиеся сети Apriory Линейная регрессия Возможности комбинирования 32
- 33. Варианты ПО Deductor Studio RExcel 33
- 34. Deductor Простота в освоении и «промышленная мощность» 34
- 35. RExcel Привычный интерфейс и алгоритмы R 35
- 36. Заключение Часто наблюдается: недостаток данных и их неготовность к непосредственному анализу В такой ситуации предпочтительнее использование комбинации простых и прозрачных алгоритмов вместо разработки и применения сложных Поэтому удобное ПО хотя бы с минимальным «джентельменским набором» лучше неудобных «комбайнов» 36