Maximiser l’apprentissage grâce à l’intelligence artificielle 9 minutes

L’intelligence artificielle pour optimiser les parcours de formation de chaque participant afin d’assurer un parcours de formation personnalisé.

Laissez-nous vous présenter l’étude de cas d’une solution conçue par Moov AI pour notre partenaire Apprentx, une PME montréalaise qui accompagne des entreprises à développer des programmes de formation ayant pour but d’augmenter la performance des employés.

Malgré le fait que le domaine d’Apprentx soit quand même relativement pointu, le cas d’utilisation d’apprentissage machine rencontré ici est extrêmement répandu dans plusieurs industries. Nous faisons face à un problème de classification.

C’est ce même problème qui se retrouve derrière la prédiction de l’attrition de clientèle (churn) d’une compagnie de télécommunications (quitte vs quitte pas), de la prédiction de fraude dans une banque (fraude vs pas fraude) ou la prédiction qui mettra un courriel dans les courriels indésirables (spam vs pas spam).

Qui est Apprentx?

Apprentx est une entreprise spécialisée dans le renforcement des apprentissages et des comportements. Leur but est d’améliorer la rétention des connaissances après une formation et de s’assurer que le participant sera en mesure d’utiliser les connaissances apprises et de mettre en application les comportements et habitudes dont il a besoin pour effectuer son travail au quotidien.

Pour ce faire, Apprentx développe l’application B12, une plateforme qui propose des programmes de formation et de renforcement sur mesure.

B12 permet de créer des parcours de formation sur demande. Après chaque portion de formation, la plateforme envoie de courtes séquences de questions aux participants suivant un calendrier prédéterminé.

Prédire le niveau de performance des participants avec l’IA pour adapter les programmes

Il faut savoir que les parcours d’apprentissage adaptatifs sont reconnus dans le domaine de la formation comme étant très efficaces pour atteindre un meilleur niveau de performance de façon plus rapide.

Le hic, c’est que très peu d’outils permettent d’automatiser la tâche d’adapter le parcours à chaque utilisateur. Dans le contexte de l’apprentissage en ligne sur un nombre massif de cours et d’individus, traiter une telle quantité d’information pour en tirer des tendances et effectuer des suggestions est une tâche titanesque, voire impossible pour un cerveau humain.

C’est exactement pour cette raison qu’Apprentx a mandaté Moov AI pour développer un modèle d’intelligence artificielle permettant d’adapter les parcours de formation aux forces et faiblesses de chaque participant, en se basant sur une prédiction de leur performance pour les questions du programme.

Cette prédiction sera utilisée pour optimiser les parcours à différents niveaux :

• proposer le bon nombre d’activités aux participants,
• proposer le bon niveau de difficulté pour s’assurer que ça ne soit pas trop facile, ni trop difficile
• proposer les sujets à réviser en priorité et le nombre de répétitions nécessaires afin d’améliorer la progression des participants

La classification, un cas très répandu dans plusieurs industries

Tel que mentionné précédemment, nous avions affaire à un problème de classification.
À sa plus simple expression, l’étude du cas d’Apprentx pourrait se résumer à la prédiction de la réussite ou non d’un participant à une question donnée.

Dans le cas d’Apprentx, la classification était plutôt complexe à réaliser puisque nous devions tenir en compte de plusieurs variables :

• le chemin de formation pris par le participant
• le fait que la plateforme contienne plusieurs programmes fondamentalement différents
• le fait que la définition de ce qui est considéré comme un niveau acceptable de réussite est variable d’un programme à l’autre.

Nous avons également eu à tenir compte de la courbe d’apprentissage des individus. Les données seront constamment en évolution puisque les participants peuvent s’améliorer ou s’empirer dépendamment de l’évolution de la difficulté des questions et des optimisations apportées au programme grâce aux prédictions du modèle.

Un projet court, efficace, ciblé

Pour aller de l’avant, nous avions 4 critères principaux à remplir avec cette solution :

1. La solution doit être applicable à l’ensemble des formations sur mesure.
2. Elle doit être en mesure de bien comprendre la performance du participant dans le but d’influencer son parcours pour optimiser ses chances de succès.
3. Elle doit être facile à utiliser et à interpréter pour les concepteurs de programmes.
4. Elle doit fournir rapidement de bonnes prédictions lors de la création d’un nouveau programme.

Afin de personnaliser un programme de façon efficace, nous devons calculer les probabilités que la personne obtienne la bonne réponse pour une question selon le sujet de la question et le niveau de difficulté indiqué par le concepteur du programme.

Lors de la personnalisation, l’objectif du concepteur est de créer un quiz avec le bon regroupement de questions, le bon niveau de difficulté et les sujets prioritaires à réviser pour assurer l’apprentissage.

Le but du modèle est donc de prédire le taux de succès pour chaque question pour chaque utilisateur du groupe.

Cette prédiction de succès est utilisée par la plateforme B12, en complément à d’autres règles d’affaires basées sur la pédagogie et les sciences cognitives, pour adapter les programmes pour les utilisateurs pour lesquels les prédictions de succès seront fiables.

Le système permet également à Apprentx d’établir un diagnostic et de recalibrer les catégories de difficulté des questions au besoin, grâce au suivi des performances des élèves.

Ces éléments permettront de viser une bonne balance pour mettre les participants dans leur zone optimale d’apprentissage.

Bonus au mandat : amélioration des données disponibles pour des analyses plus rigoureuses

L’ajout de l’IA dans l’outil et la capture de plusieurs métriques entourant le modèle ont permis également d’améliorer les analyses basées sur les données et plutôt que sur une interprétation sommative des résultats. Ainsi, l’IA a apporté une rigueur à l’analytique produite par B12 augmentée par des données probantes. Par exemple, l’IA permet de valider et calibrer les niveaux de difficulté des questions en se basant sur les taux de réussite réels et prédits.

Il est important d’utiliser des données empiriques pour prendre des décisions éclairées sur les interventions éducatives. Ainsi, l’IA a apporté une rigueur à l’analytique produite par B12 augmentée par des données probantes.

Solution développée et mise en production

Le plus grand défi auquel nous avons dû faire face était de développer une approche universelle « One size fits all » qui pourrait être applicable à n’importe quel programme.

Comme les programmes Apprentx diffèrent par leur durée pour un participant (certains durent des mois tandis que d’autres – seulement quelques jours) et par la répartition du contenu par niveau de difficulté, nous avons dû tester deux approches sur plusieurs programmes avant d’arriver à la solution finale.

Nous avons choisi de nous concentrer sur la prédiction de succès pour chaque question et chaque utilisateur pour chaque programme. Nous avons également dû garder en tête que le modèle doit être performant et générer un rapport à chaque jour pour permettre aux équipes de concepteurs de programmes de les utiliser.

Voici comment nous avons abordé le problème

Avant l’implantation de l’IA dans B12, les utilisateurs voyaient les mêmes séquences de questions au même moment avec des programmes prédéfinis et non personnalisés.

Pour surmonter cela, nous avons développé une approche qui prend en compte toutes les données disponibles jusqu’à aujourd’hui pour prédire la probabilité que chaque participant réussisse dans chaque question d’un programme demain.

Comme de nouvelles données sont constamment ajoutées lors du réentraînement quotidien, chaque modèle de programme évoluera et s’améliorera avec le temps. Lorsqu’un nouveau programme est lancé, les prédictions ne seront pas meilleures qu’une prédiction aléatoire, mais leur qualité s’améliorera nettement avec le temps puisque les données seront de plus en plus nombreuses.

Pour tester les modèles sur des données qu’ils n’avaient jamais vues auparavant, nous avons comparé les prédictions du modèle pour demain avec les performances réelles des utilisateurs de demain. Au final, nous avons choisi le modèle qui distinguait le mieux la réussite de l’utilisateur de l’échec.

Un pas de plus vers l’automatisation complète

Ce projet est un bel exemple de modèle déployé qui répond au besoin d’Apprentx d’avoir des prédictions à chaque jour pour permettre aux créateurs de programmes d’être plus efficaces et d’améliorer les chances d’un apprentissage efficace.

L’approche que nous avons préconisée permet à Apprentx de franchir un pas de plus et de pousser plus loin leur exploration de la personnalisation de séquences de questions présentées aux utilisateurs avec comme objectif l’automatisation complète.

Au final, notre équipe, avec la collaboration de l’équipe d’Apprentx, a été en mesure de créer un outil de prédiction de la réussite qui est performant et polyvalent, tout en fonctionnant avec peu de données.