La qualité des systèmes d’IA chez Moov AI, un guide rapide 8 minutes

Nous irons droit au but : évaluer vos systèmes d’IA est une nécessité. C’est aussi simple que ça. Nous avons choisi d’implanter un cadre (framework) d’évaluation de la qualité des systèmes d’IA dans nos projets, basé sur mes travaux des dernières années avec les normes ISO. Mais n’ayez crainte, ce n’est pas de la magie noire, ni un trou sans fond.

Vous le savez, chez Moov AI, tout ce que nous faisons est concret. On ne pelte pas des nuages. C’est le cas également pour livrer des systèmes d’IA de qualité. On va ainsi éviter trop de red tape et garder ça pratique!

Pourquoi Moov AI a décidé d’implanter un framework d’évaluation de la qualité des systèmes d’IA

Nous croyons fermement que l’intelligence artificielle peut transformer les entreprises, améliorer considérablement leur efficacité et exploser leur productivité et compétitivité. Cependant, pour que cette transformation soit réussie, il est crucial de garantir que les systèmes d’IA répondent aux exigences de qualité les plus élevées.

C’est pourquoi nous avons décidé d’implanter un framework d’évaluation de la qualité des systèmes d’IA. Dans cet article, j’explique les différentes raisons qui nous ont poussés à prendre cette décision. Vous y trouverez également les différentes étapes de notre framework et les bénéfices pour vos entreprises respectives d’appliquer ces principes.

La qualité des systèmes d’IA : une nécessité incontournable

La qualité des systèmes d’IA est une nécessité incontournable. J’ai évidemment un biais vu mon rôle de président de la délégation canadienne ISO/IEC sur l’intelligence artificielle. Je suis engagé dans la création des normes depuis 2020 pour garantir la fiabilité et la robustesse des systèmes d’IA.

La qualité d’un système d’IA se définit par le degré auquel les caractéristiques du système (logiciel, modèle d’IA et données) répondent aux exigences des clients. Il existe plusieurs façons d’estimer la qualité, mais c’est souvent très complexe puisqu’il y a une analyse de tous les processus d’une organisation dans la création et l’utilisation de l’IA.

Je préfère utiliser une notion beaucoup plus tactique, soit l’évaluation des exigences du système tout simplement. Ce framework plus tactique s’appelle SQuaRE, soit Software Quality Requirements Evaluation. Grosso modo, pour évaluer la qualité selon ce framework, les normes ISO définissent environ 11 caractéristiques principales, tandis que la norme propose des méthodes pour évaluer l’atteinte de chacune de ces caractéristiques par différentes techniques telles que différentes méthodes de test et les comparaisons (benchmarking).

En langage non technique, voici comment nous nous y prenons pour évaluer la qualité des systèmes.

Les étapes de notre framework d’évaluation de la qualité des systèmes d’IA

Notre approche pour évaluer la qualité des systèmes d’IA se décompose en plusieurs étapes clés :

1. Définir les caractéristiques les plus importantes

La première étape consiste à définir les caractéristiques principales pour un projet dès le début. Cela peut se faire lors d’un atelier ou même avant le lancement du projet. Les caractéristiques définies peuvent inclure des aspects tels que :

• Atteinte des attentes fonctionnelles : assurer que toutes les fonctionnalités requises par le client sont présentes et opérationnelles.
• Performance : évaluer la rapidité et l’efficacité du système d’IA dans l’exécution des tâches.
• Compatibilité : vérifier que le système d’IA fonctionne correctement avec d’autres systèmes et environnements.
• Sécurité : garantir que le système d’IA protège les données et les informations contre les accès non autorisés et les cyberattaques.
• Maintenabilité : s’assurer que le système d’IA peut être facilement mis à jour et modifié pour corriger les erreurs et améliorer les performances.
• Fiabilité : mesurer la capacité du système d’IA à fonctionner sans défaillance sur une période donnée.
• Utilisabilité : évaluer la facilité avec laquelle les utilisateurs peuvent interagir avec le système d’IA.
• Portabilité : vérifier que le système d’IA peut être transféré et utilisé dans différents environnements sans nécessiter de modifications majeures.
• Efficacité : mesurer l’utilisation des ressources (temps, mémoire, etc.) par le système d’IA pour accomplir ses tâches.
• Satisfaction des utilisateurs : recueillir les retours des utilisateurs pour s’assurer que le système d’IA répond à leurs attentes et besoins.
• Conformité : vérifier que le système d’IA respecte les normes et réglementations en vigueur.

2. Générer un plan d’évaluation

Une fois les caractéristiques principales définies, nous générons un plan d’évaluation. Ce plan détaille les activités nécessaires pour évaluer chaque caractéristique. Par exemple, pour évaluer la complétude fonctionnelle, nous pouvons utiliser des tests unitaires et des tests d’intégration. Pour évaluer la performance, nous pouvons utiliser des benchmarks et des tests de charge.

3. Intégrer les activités d’évaluation au backlog client

Les activités du plan d’évaluation sont ensuite ajoutées au backlog client, soit sous forme de stories, soit sous forme de conditions de succès (CoS). Ajouter ces items dans notre processus garantit une intégration des activités d’évaluation au processus de développement et qu’elles sont réalisées au moment opportun. Aucun système d’IA ne devrait voir le jour sans évaluation.

4. Mesurer chaque élément du plan d’évaluation

Enfin, chaque élément du plan d’évaluation est mesuré au moment opportun. Les résultats de ces mesures sont analysés pour identifier les points forts et les points faibles du système d’IA. Les points faibles sont ensuite corrigés pour garantir que le système répond aux exigences de qualité définies.

Les bénéfices pour nos clients

L’implantation de ce framework d’évaluation de la qualité des systèmes d’IA offre de nombreux bénéfices pour nos clients :

1. Amélioration de la fiabilité et de la performance

En évaluant systématiquement la qualité des systèmes d’IA, nous pouvons identifier et corriger les problèmes avant qu’ils n’affectent les utilisateurs finaux. Cela améliore la fiabilité et la performance des systèmes, ce qui se traduit par une meilleure satisfaction des clients.

2. Réduction des risques

L’évaluation de la qualité permet également de réduire les risques associés à l’implantation des systèmes d’IA. En identifiant les points faibles dès le début, nous pouvons prendre des mesures pour les corriger avant qu’ils ne deviennent problématiques.

3. Conformité aux normes internationales

En suivant les normes ISO/IEC 25059 et ISO/IEC TS 25058, nous garantissons que vos systèmes d’IA sont conformes aux meilleures pratiques internationales. Ces normes sont également référées comme méthodologie d’évaluation pour des standards de gestion comme ISO/IEC 42001 et même selon certaines lois comme la loi européenne sur l’IA. Cela renforce la crédibilité de vos solutions et rassure vos utilisateurs finaux quant à la qualité des systèmes d’IA.

Une étape crutiale pour l’adoption de l’IA

L’implantation d’un framework d’évaluation de la qualité des systèmes d’IA est une étape cruciale pour garantir que les systèmes d’IA répondent aux exigences de qualité les plus élevées. Chez Moov AI, nous sommes déterminés à offrir à nos clients des solutions d’IA de la plus haute qualité, conformes aux normes internationales et capables de transformer leurs entreprises. En suivant notre framework, nos clients peuvent être assurés que leurs systèmes d’IA sont fiables, performants et prêts à répondre aux défis à venir.

Implementing a quality assessment framework for AI systems is a crucial step in ensuring that AI systems meet the highest quality requirements. At Moov AI, we are committed to providing our customers with AI solutions of the highest quality, compliant with international standards and capable of transforming their businesses. By following our framework, our customers can rest assured that their AI systems are reliable, high-performing and ready to meet the challenges ahead.

Moov AI utilise l’IA générative pour créer ce blog. 
Nous avons utilisé l’IA générative pour accélérer la production de ce blog.

Pour le texte, Olivier a utilisé la documentation interne expliquant notre cadre qu’il avait précédemment créée. En utilisant Copilot Work, il a reformulé la documentation interne dans un blog. Voici sa requête : « En utilisant la documentation suivante, ainsi que ce que vous savez de Moov AI et de nos projets, pouvez-vous écrire la base d’un billet de blog qui résume pourquoi nous avons décidé de mettre en place un cadre pour évaluer la qualité des systèmes d’IA, ainsi que de définir les différentes étapes de notre cadre, ainsi que les avantages pour nos clients. »

Olivier a ensuite enrichi le texte à la main, en y ajoutant le contexte (introduction, conclusion, etc.), les éléments manquants, les détails et son style légendaire.

Pour les images, l’équipe marketing a utilisé MidJourney pour générer l’image d’en-tête à l’aide de ce message : « An abstract illustration used for a header of a blog about a framework for assessing the quality of artificial intelligence systems. Use overlapping translucent geometrical shapes symbolize the interconnected, multi-faceted nature of the framework. Use simple graphics. The mood is bright and optimistic. –ar 2:1 »