Guide d'installation des LLMs (2024)

Le projet KALLM (Kit avancé LLM) est un guide pratique destiné aux administrations publiques souhaitant adopter des modèles de langage à grande échelle (LLM) pour des tâches d’analyse textuelle.

Ce guide a été rédigé en 2024. Nous le maintenons ici pour valoriser ce travail de grande qualité et en accord avec les principes de transparence de la vie publique, mais la nature et l'usage des LLMs ont grandement évolué depuis son écriture.

Développé dans le cadre de la troisième saison du Programme 10% d’Etalab, en partenariat entre plusieurs administrations, ce guide accompagne les techniques pour la mise en production d’un modèle adapté à leur besoin au sein de l'État.

Il propose des recommandations concrètes sur le choix des modèles, les infrastructures nécessaires, les techniques de fine-tuning, d’évaluation et de déploiement, tout en abordant les aspects environnementaux et financiers liés à l’utilisation des LLM.

Aller vers le guide

Ce guide est particulièrement adapté si vous êtes :

• Un datascientist au sein d'un service de l'État
• Un ingénieur ou architecte de la donnée
• Un développeur au sein d'une équipe produit qui veut intégrer l'IA dans son service

Ce que couvre le guide en bref

• l’infrastructure minimale pour faire tourner un LLM
• benchmarking des “principaux” LLM
• exemple d’utilisation dans un cas simple (cas d’utilisation dit “fil rouge”) sous forme de tutoriel
• finetuner un modèle LLM
• quantizer un modèle LLM
• Evaluer un LLM
• mettre en production un modèle LLM
• une bibliographie concise et non exhaustive
• d’autres exemples plus complexes de cas d’utilisation dans l’administration
• une approximation du coût environnemental et financier des différents LLM

Ce que ne couvre pas (encore) ce guide

• les fondements théoriques de l’optimisation
• cas spécifique d’une administration
• comment débiaiser un LLM