Comment s'assurer que les réponses apportées par l'IA conversationnelle que j'utilise sont correctes, fiables et pas complétement biaisées ? Avec l'outil Compar:IA, comparez les réponses apportées par différents modèles d'IA génératives et participez à l'amélioration de leurs réponses !
La question de la fiabilité, de la transparence des données mais également des biais sont des questions essentielles lorsqu'on utilise des IA génératives. Difficile parfois de prendre du recul face à la seule réponse d'un chatbot. C'est pour répondre à ces enjeux qu'est née la plateforme Compar:IA, un comporateur d'IA génératives conversationnelles.
Présentation du comparateur Compar:IA
Le comporateur a été conçu et développé dans le cadre d'une start-up d'Etat portée par le ministère de la Culture et intégrée au programme Beta.gouv.fr de la Direction interministérielle du numérique (DINUM).
Compar:IA permet de comparer les réponses de deux modèles d'IA différents (parmi 37 modèles différents à l'heure actuelle), en les sélectionnant ou de manière aléatoire. L'utilisateur peut ensuite voter pour sa réponse préférée, qualifier les deux réponses apportées (clarté, utilité, suivi des instructions, mise en forme ...), et découvrir les modèles derrière les deux réponses.
L'objectif du comparateur, qui est récemment devenu une initiative européenne avec la participation de la Lituanie, la Suède et le Danemark, est de créer des jeux de données de préférence centrés sur des usages réels exprimés dans les langues européennes. Il permet par ailleurs de répondre à plusieurs enjeux :
- Biais culturels et linguistiques : Mettre en avant les biais de l'IA liées à la sous-représentation des données non anglophones dans les modèles et sensibiliser à leurs conséquences.
- Impact environnemental : Révéler les effets écologiques de l'IA générative, encore largement méconnus du grand public
- Pluralisme des modèles : Assurer aux citoyens l'accès à une diversité de modèles d'IA afin qu'ils puissent faire des choix éclairés et développer un regard critique sur ces technologies
- Esprit critique et questions sociétales : Inciter au questionnement critique sur la place de l'IA générative dans les pratiques personnelles et professionnelles (éducation, travail)
Un exemple d'utilisation du comporateur
Nous avons posé la question suivante à deux modèles d'IA, Mistral AI/Magistral Small (modèle A) et OpenAI/GPT 5 (modèle B) : "Quel est l'impact environnemental du numérique ?" Leurs réponses sont visibles sur les deux images ci-dessous. On peut noter une différence dans les sources utilisées, le modèle de Mistral citant en premier lieu des sources françaises comme l'Ademe ou le Shift Project là ou le modèle d'OpenAI va citer des sources internationales comme l'IEA ou le global e-waste monitor. Les données avancées par les deux modèles sont assez équivalentes, mais la mise en forme nous semble plus claire sur le modèle de Mistral. A noter que le modèle d'OpenAI passe d'abord par un module de raisonnement qui travaille en anglais avant de proposer ensuite une réponse synthétique en français
Enfin, après avoir choisi la réponse la plus satisfaisante, on découvre les modèles et leurs caractéristiques, ainsi qu'une estimation de l'impact énergétique de la discussion avec chacun des modèles.
L'outil est gratuit et permet de tester au même endroit les dernières IA de l'écosystème, puisque de nouveaux modèles sont ajoutés régulièrement.