Тестирование искусственного интеллекта: с какой стороны подступиться?
Download as PPTX, PDF0 likes146 views
Документ обсуждает тестирование искусственного интеллекта и методы машинного обучения, включая логистическую регрессию и выбор весовых коэффициентов. Он акцентирует внимание на проблемах переобучения и недообучения моделей, а также на метриках оценки, таких как точность и полнота. В конце предоставлены ссылки на полезные ресурсы для дальнейшего изучения темы.
Тестирование искусственного интеллекта: с какой стороны подступиться?
- 1. Тестирование искусственного интеллекта: с какой стороны подступиться? Игорь Хрол, Минск
- 2. Кто перед вами? ● Игорь Хрол ● 12 лет в отрасли ● Инженер, тимлид, менеджер, тренер, консультант ● Python, Scala, C#, Java и другое ● www.khroliz.com 2
- 3. 3
- 4. 4
- 5. 7
- 6. 8
- 9. 11 Информация о пассажире Признаки Умножаем на веса Применяем логистическую функцию
- 10. 12 Информация о пассажире Признаки Умножаем на веса Применяем логистическую функцию
- 11. 13 Информация о пассажире Признаки Умножаем на веса Применяем логистическую функцию
- 12. 14 Информация о пассажире Признаки Умножаем на веса Применяем логистическую функцию
- 13. 15 Информация о пассажире Признаки Умножаем на веса Применяем логистическую функцию
- 14. 16 Информация о пассажире Признаки Умножаем на веса Применяем логистическую функцию
- 21. 23
- 22. 24
- 24. 26
- 25. 27 Результат на всех данных
- 26. Обучающая и тестовая выборки 28
- 27. Обучаем на ⅔ данных 29
- 28. 30
- 30. 32
- 31. 33
- 32. 34 78.3% вместо 77.6% ранее
- 34. 36
- 35. 37
- 36. Две проблемы в машинном обучении Недообучили Переобучили 38 Ok
- 37. Регуляризация 39
- 38. Как выбрать параметр С? 40
- 39. Validation выборка 41 train test train validation
- 41. 43
- 42. 44
- 43. 45
- 44. 46 В чём проблема? ● 0 - хорошая банка, 1 - плохая ● Процент брака - 0.01% ● Классификатор всегда отдаёт 0 Точность - 99.99%!
- 46. Precision & Recall 100000 банок из них 10 брака (0.01%). Классификатор определил 20 банок в брак. 48 # tp fp fn precision recall 1 1 19 9 1/20=0.05 1/10=0.1 2 5 15 5 5/20=0.25 5/10=0.5 3 10 10 0 10/20=0.5 10/10=1
- 47. Precision & Recall 100000 банок из них 10 брака (0.01%). 49 # tp fp fn precision recall 2 5 15 5 5/20=0.25 5/10=0.5 4 6 19 4 6/25=0.24 6/10=0.6
- 48. F1 score 50 # tp fp fn precision recall F1 score 2 5 15 5 5/20=0.25 5/10=0.5 0.333333 4 6 19 4 6/25=0.24 6/10=0.6 0.342857
- 49. F1 score 51 # tp fp fn precision recall F1 score F0.5 score F2 score 2 5 15 5 5/20=0.25 5/10=0.5 0.333333 0.277778 0.416667 4 6 19 4 6/25=0.24 6/10=0.6 0.342857 0.272727 0.461538
- 50. Напоследок… Что почитать? ● www.coursera.org/learn/machine-learning/home/welcome ● www.youtube.com/watch?v=T_YWBGApUgs&t=21524s ● www.eecs.tufts.edu/~dsculley/papers/ml_test_score.pdf ● kaggle.com ● ods.ai 59