Guide d'installation des LLMs (2024)
Le projet KALLM (Kit avancé LLM) est un guide pratique destiné aux administrations publiques souhaitant adopter des modèles de langage à grande échelle (LLM) pour des tâches d’analyse textuelle.
Développé dans le cadre de la troisième saison du Programme 10% d’Etalab, en partenariat entre plusieurs administrations, ce guide accompagne les techniques pour la mise en production d’un modèle adapté à leur besoin au sein de l'État.
Il propose des recommandations concrètes sur le choix des modèles, les infrastructures nécessaires, les techniques de fine-tuning, d’évaluation et de déploiement, tout en abordant les aspects environnementaux et financiers liés à l’utilisation des LLM.
Ce guide est particulièrement adapté si vous êtes :
Un datascientist au sein d'un service de l'État
Un ingénieur ou architecte de la donnée
Un développeur au sein d'une équipe produit qui veut intégrer l'IA dans son service
Ce que couvre le guide en bref
l’infrastructure minimale pour faire tourner un LLM
benchmarking des “principaux” LLM
exemple d’utilisation dans un cas simple (cas d’utilisation dit “fil rouge”) sous forme de tutoriel
finetuner un modèle LLM
quantizer un modèle LLM
Evaluer un LLM
mettre en production un modèle LLM
une bibliographie concise et non exhaustive
d’autres exemples plus complexes de cas d’utilisation dans l’administration
une approximation du coût environnemental et financier des différents LLM
Ce que ne couvre pas (encore) ce guide
les fondements théoriques de l’optimisation
cas spécifique d’une administration
comment débiaiser un LLM
Mis à jour
Ce contenu vous a-t-il été utile ?