Travail de Bachelor — Informatique de Gestion, HEG Genève, 2024-2025 · 12 crédits ECTS · 360h

SLM & IA générative : RAG en contexte éducatif

Contexte et motivation

L'essor des intelligences artificielles génératives transforme en profondeur les pratiques d'apprentissage et de formation. Ce travail de bachelor part d'un constat issu d'un parcours personnel et d'observations de terrain : l'apprentissage personnalisé reste difficile à mettre en oeuvre à grande échelle, en particulier dans un contexte académique comme celui de la HEG, où les ressources de cours sont nombreuses, hétérogènes et difficiles à exploiter de manière individualisée.

Plutôt que de recourir aux grands modèles de langage (LLM) propriétaires, coûteux et dépendants d'infrastructures externes, ce travail interroge la pertinence des Small Language Models (SLM) comme alternative pragmatique, en particulier lorsqu'ils sont couplés à une architecture de Retrieval-Augmented Generation (RAG).

État de l'art

Le travail dresse un panorama des IA génératives et de leur évolution récente, avant de poser les fondements théoriques nécessaires à la compréhension du sujet : architectures de réseaux de neurones, réseaux récurrents (RNN), puis l'architecture Transformer, devenue le standard des modèles de langage actuels.

Une revue de la littérature académique et industrielle permet de situer le projet par rapport aux recherches existantes sur l'IA en éducation et la personnalisation de l'apprentissage, ainsi que par rapport aux solutions déjà déployées sur le marché (Duolingo et autres plateformes d'apprentissage assisté par IA).

Cette analyse aboutit à la formulation des questions de recherche, des contributions attendues — tant techniques que pédagogiques — et à la délimitation précise du périmètre du projet.

SLM vs LLM : analyse comparative

Une analyse comparative détaillée est menée entre Small Language Models et Large Language Models, portant sur :

• les critères de classification permettant de distinguer ces deux catégories de modèles ;
• les avantages et inconvénients de chaque approche selon différents cas d'usage (coût, latence, confidentialité, besoin en infrastructure) ;
• un benchmark comparatif intégrant une analyse des coûts d'exploitation.

Cette comparaison constitue la justification technique du choix d'un SLM pour la suite du projet.

Méthodologie RAG pour l'apprentissage personnalisé

Le coeur méthodologique du travail repose sur l'architecture RAG, qui permet d'augmenter les capacités d'un modèle de langage en lui donnant accès à une base de connaissances externe au moment de l'inférence, sans nécessiter de réentraînement complet du modèle.

Cette partie couvre :

• le principe et l'architecture générale du RAG (indexation, recherche, génération) ;
• l'utilisation de bases de données vectorielles et des techniques de recherche sémantique ;
• les adaptations nécessaires pour rendre cette architecture compatible avec les contraintes d'un SLM ;
• les choix permettant d'orienter le système vers une personnalisation pédagogique effective.

Implémentation et expérimentation

Un prototype fonctionnel est développé à partir de la stack technologique suivante :

Le choix du SLM utilisé est justifié à l'aune des critères définis dans la partie comparative. Le cas d'usage retenu vise à intégrer, dans la mesure du possible, l'ensemble des cours de la HEG comme base de connaissances, afin de développer un prototype d'assistant d'apprentissage personnalisé exploitable dans un contexte réel.

Évaluation et résultats

Le prototype est évalué selon un protocole de test et des métriques définies spécifiquement pour ce projet. L'analyse des performances permet d'identifier les forces du système ainsi que ses limites actuelles, notamment en matière de précision des réponses, de pertinence du contexte récupéré et de scalabilité.

Ces résultats ouvrent sur une discussion des perspectives d'amélioration et des pistes pour une généralisation de l'approche à d'autres contextes de formation.

Conclusion

Ce travail de bachelor démontre la faisabilité d'une solution d'apprentissage personnalisé combinant SLM et RAG dans un contexte académique réel, tout en questionnant de manière critique les compromis entre performance, coût et accessibilité propres aux Small Language Models.

---

Mots-clés : IA générative, Small Language Models, Retrieval-Augmented Generation (RAG), apprentissage personnalisé, transformers, bases de données vectorielles, éducation

Stack technique : Python · LangChain · ChromaDB · vLLM