Learning analytics et le project Hubble
0 j'aime958 vues
Ce document aborde l'analyse des données d'apprentissage à l'université, en mettant l'accent sur les défis pédagogiques et l'intervention humaine. Il discute de l'importance d'une plateforme d'analyse pour évaluer et améliorer les performances des étudiants, en particulier dans le contexte de la médecine et de la chirurgie orthopédique. De plus, il souligne les considérations éthiques relatives à la collecte et à l'utilisation des données d'apprentissage.
Learning analytics et le project Hubble
- 1. Learning Analytics Vanda Luengo, vanda.luengo@lip6.fr Actuellement : Université Joseph Fourier, MeTAH, LIG Grenoble En septembre 2015 : Université Pierre et Marie Curie, MOCAH, LIP6, Paris 1
- 2. Une opportunité pour rapprocher les recherches et les pratiques à l’université ? (𝑝𝑟𝑜𝑏𝑙è𝑚𝑒𝑠+𝑞𝑢𝑒𝑠𝑡𝑖𝑜𝑛𝑠) ∗(𝑑𝑜𝑛𝑛é𝑒𝑠+𝑎𝑛𝑎𝑙𝑦𝑠𝑒𝑠) é𝑡ℎ𝑖𝑞𝑢𝑒 ∗𝑖𝑛𝑡𝑒𝑟𝑣𝑒𝑛𝑡𝑖𝑜𝑛 Belinda Tynan, LAK 2015 => Une vision stakeholders 2
- 3. Des exemples, collaboration avec le CHU de Grenoble PACES ECN L’apprentissage des connaissances perceptivo gestuelles en chirurgie orthopédique 3
- 4. Semaine1 Semaine2 Semaine3 Semaine4 Semaine5 Semaine6 Semaine7 … CoursDVD FLQ SEPI Tutorat Etude des cours sur DVD Formulation en Ligne des Questions (FLQ) Séances d'Enseignement Présentiel Interactif (SEPI) Séances de Tutorat CoursDVD FLQ SEPI Tutorat CoursDVD FLQ SEPI Tutorat CoursDVD FLQ SEPI Tutorat CoursDVD FLQ CoursDVD FLQ SEPI 1 séquence d’apprentissage= PACES, Grenoble4
- 5. Le cas de la chirurgie orthopédique Action Perception action Perception Prise d’information pour agir Prise d’information pour Valider 5 Développement d’une plateforme Modèle d’analyse
- 6. Problèmes + Questions Problème d’enseignement, apprentissage, administration plateforme TICE, politique universitaire, …. Question précise dont l’analyse des données peut apporter une partie de la réponse Des vraies questions associés à des vrais problèmes ? Taux d’abandon dans les MOOCS 6
- 7. PACES Grenoble Contexte pédagogique : Pédagogie inversée en première année de médecine Contexte d’analyse : situation de concours. Problème : Nombre d’apprenants trop important. Question1 : comment rattraper certains étudiants qui risquent de raccrocher ? Crédit : PIERRE ANDRIEU / AFP 7
- 8. Le cas de la chirurgie orthopédique, CHU Grenoble 8 Modèle d’analyse Contexte pédagogique : apprentissage au bloc opératoire et avec le simulateur Problème : L’enseignement des gestes a un effet chapelle Question : Comment évaluer objectivement les connaissances perceptivo gestuelles ? Luengo et al. 2011
- 10. Les données, considérations pour une analyse de qualité Données Type Centralisées : log data des interactions Comme par exemple les LMS : accès aux ressources d’apprentissage, lecture, écriture,… Distribuées : multiples logs de sources formelles et informelles Wiki, google drive, … => Intégration Extensive : grand nombre de participants, nombre limité de variables MOOCs : QCM,… Intensive : nombre relativement petit de participants mais des observations ou traces détaillées Décider le type de données collectées et l’information à extraire ce sont des étapes clés sur le processus d’analyse. Le choix des données utilisées comme prédicteurs et indicateurs auront une influence directe sur le type, la qualité et la précision de l’analyse. (Homer, 2013) (Chatti et al., 2012): 10
- 11. Données PACES, distribuées, extensives 2 Semestres – 6 Cycles par semestre– 3 à 4 Disciplines par cycle Année universitaire Inscription en PACES Concours Septembre Janvier Mai Semestre 1 Semestre 2 Résultats de chaque séance de tutorat Concours Résultats finaux Inscriptions.xl s Données QCM par discipline Concordance. ResFinaux.xls Numéro anonyme N lignes par étudiant Numéro UJF 1 ligne par étudiant Numéro UJF 1 ligne par étudiantNuméro anonym Numéro UJF 1 ligne par étudiant Travail Laura Dupuis, 2014 11
- 12. Données PACES, problèmes Production : Données produites pour les enseignants : suivre les étudiants changement d’utilisateurs changement de besoins Données : Quelques données anonymes Fragments de données reconstitution (volume + données incomplètes) PEU de contrôle au niveau de la production des notes QCM Aucun impact sur le résultat administratif (ne participent pas à l’admission) 12
- 13. Données PACES, garantir la qualité => Cohérence Outils : la fusion + indicateurs de qualité n fichiers issus des séances du tutorat … résultats des QCM pour une discipline, un cycle et un semestre donné 1 fichier unique : DonnéesQCM.xls Variables : - Semestre - Cycle - Discipline 13
- 14. Données Chirurgie orthopédique Intensives, distribuées Trouver les bonnes transformations Réutilisables Efficaces (temps) Sans perte => backtracking Trouver les bonnes architectures Génériques Algorithmes de clustering classique (K-means, ..) Algorithmes de Discrétisation Algorithme de clustering oculométrique (I-DT) Algorithme d’association et discretisation dynamique Méthode d’annotation sémantique Algorithme d’association dynamique Traces hétérogènes de type perceptivo gestuel 14
- 15. Données Chirurgie orthopédique Processus pour production de séquences Séquence perceptivo-gestuelle S = < (Actions; | Gestes); (Perceptions)> 15 Travail de thèse Ben-Mansson Toussaint, AIED 2015, EIAH 2015
- 16. Données Chirurgie orthopédique Une séquence perceptivo gestuelle 16 Travail de thèse Ben-Mansson Toussaint, AIED 2015, EIAH 2015
- 17. Analyses FP7 619762 LEA’s BOX 17
- 18. Analyses, la visualisation Essentielle pour l’intervention Humaine Différentes usages Outil réflectifs, Pour la prise de décisions Travaille pluridisciplinaire Cartographes Infographistes Informaticiens Statisticiens Psychologues Associations de plusieurs visualisations Dashboard. 18 Duval, E., 2011.
- 19. Analyses, PACES, découverte de structures Étudier les évolutions des apprenants Comprendre les résultats concours en fonction des résultats obtenus aux QCM Outils : Statistiques Descriptives & Visualisations Création de typologies Outils : ACM : Structurer les données en fonction des variables initiales : 3 axes CAH : Représentation simplifiée des données en formant des classes : 4 classes 1) notes TB/B, très présents, Bac S (Mention TB/B), ADMIS, Nb Insc. : 2-3 2) notes variantes, assez présents, Bac S (Mention AB), EXCLUS, Nb Insc. : 2-3 3) notes mauvaises, peu présents, Bac ≠ S, EXCLUS, Nb Insc. : 4 4) notes mauvaises, assez présents, Bac S (Mention AB), AJOURNÉS, Nb Insc. : 1 19
- 20. Visualisations, PACES20 Travail Laura Dupuis, 2014
- 21. Visualisations PACES Année universitaire S1 –C1 S2-C6 21 Visualisation plateforme Undertracks
- 22. PACES, une itération Analyse peu utilisable pour l’intervention 2014-2015 : Analyse qualitative des séances SEPI Préciser le problèmes et questions vis-à-vis des Utilisateurs finaux Utiliser les données textuelles (Questions FLQ) 22
- 23. Analyses, Chirurgie Découverte de structures et analyse de relations Montrer la pertinence de la prise en compte de ce type de séquence Trouver des séquences significatives pour la rétroaction 23 Un processus d’analyse (PETRA) capitalisable dans la plateforme Un algorithme de création de séquences perceptivo gestuelles Un algorithme pour la recherche de patterns perceptivo gestuels Thèse Ben-Masson Toussaint, AIME 2015Nouveau Algorithme => données intensives
- 25. L’éthique, le monopole des données ? Un discours trop centrée sur l’anonymisation des données. Et les analyses ? Modèle prédictif pour estimer la probabilité d’échec d’un enfant en maternelle… 25
- 26. Ethique, PACES Situations de concours Equité Transparence 26
- 27. Ethique, Chirurgie Manipulation des données patient 27
- 28. Interventions Interventions Humaines Proposer des rétroactions adaptés lors des séances de SEPI Interventions machine Diagnostiquer les connaissances perceptivo gestuelles Evaluations formative 28
- 29. Peut être commencer par ces deux points…29
- 30. L’analyse des traces d’enseignement et d’apprentissage Un équilibre entre application et recherche 30
- 31. LA à l’international Rapport US, défis bien identifiés Rapport UK, on peut voir une grande diversité Institutions and drivers Stage of development Ethics and legal issues Data Sorces Analytic systems ACCOUNTABILITY 31
- 32. Et en France ??? DERNIER appel E-LEARNING Pédagogie universitaire numérique Augmenter le % du numérique. On va passer de 20% à 50%... Mais Quels sont les vrais problèmes et questions de ce passage au numérique ? comment mesure-t-on ce passage ? Quelles indicateur allons nous mettre en place ? Comment analyser leur pertinence ? Comment analyser l’impact ? 32
- 33. Observatoire de processus d’analyse des traces e- learning massives MOOCS Serious Games Pédagogies innovantes Pédagogie inversée (Médecine CHU Grenoble) Pour la prise de décision des acteurs Processus utilisables et redéployés dans leurs environnements 33 Prise en compte de l’utilisateur
- 34. Partenaires • LIP6 (UPMC) • LIG (UJF) • IFE (ENS LYON) • STEF (ENS Cachan) • LIRIS Lyon 1 • Télécom Bretagne • Université du Maine • OpenClassrooms • LINA 34
- 35. Cas d’étude • Données • Scénarios • Modèles pédagogiques Collecte • Outils • Traces Analyse • Processus • Langages • Patterns Exploitation • Tableaux de bord pluri- acteurs Ethique 35
- 36. Premier cycle du projet : travail sur des cas pratiques Cas d’étude • MOOC • Jeux sérieux • Plateformes d’exercice • Formalisation des cas et scénarios Collecte • Test d’outils Analyse • Qualité QCM • Types d’apprenants • Évolution activité • Parcours d’apprenants Exploitation Ethique 36
- 37. Références Chatti, M.A., Dyckhoff, A.L., Schroeder, U., & Thüs, H. “A reference model for learning analytics.” International Journal of Technology Enhanced Learning, 5, 318-331, 2012 Duval, E., “Attention please! learning analytics for visualization and recommendation”. In Proceedings of the International Conference on Learning Analytics and Knowledge (9-17). New York: ACM, 2011. Greller, W. & Drachsler, H., “Translating learning into numbers: A generic framework for learning analytics”. Educational Technology & Society, 15, 42-57, 2012. Homer, B.D., “Introductory Talk to the Learning Analytics and Educational Data Mining Workshop”, CREATE Lab, New York University, April 2013. D3.1 Review article about LA and EDM. FP7 619762 LEA’s BOX Niall Sclater, Learning analytics in the UK, JISC, 2014 NMC Horizon repport 2013, US. Learing Analytics, rapport Unesco 2012 V. Luengo, L. Vadcard, J. Tonetti, and M. Dubois. Diagnostic des connaissances et rétroaction épistémique adaptative en chirurgie. Revue d'Intelligence Artificielle, 25(4):499-- 524, 2011. B. Toussaint, V. Luengo., F. Jambon, J ; Tonnetti. From Heterogeneous Multisource Traces to Perceptual-Gestural Sequences: the PeTra Treatment Approach. 17th International Conference on Artificial Intelligence in Education. IOS press, Juin 2015. B. Toussaint, V. Luengo. Mining Surgery Phase-Related Sequential Rules from Vertebroplasty Simulations Traces. Artificial Intelligence in Medicine. Juillet 2015 Undertracks.imag.fr 37
- 38. 38