#
Finetuning supervisé

Dans la section 2 du chapitre 2, nous avons vu que les modèles de langage génératifs peuvent être finetunés sur des tâches spécifiques telles que le résumé et la réponse aux questions. Cependant, de nos jours, il est beaucoup plus courant de finetuner les modèles de langage sur un large éventail de tâches simultanément ; une méthode connue sous le nom de finetuning supervisé (SFT pour supervised fine-tuning). Ce processus permet aux modèles de devenir plus polyvalents et capables de gérer divers cas d’utilisation. La plupart des grands modèles de langage avec lesquels les individus interagissent sur des plateformes telles que ChatGPT ont été soumis à un SFT afin de les rendre plus utiles et de les aligner sur les préférences humaines. Ce chapitre est divisé en quatre sections :

##
1️⃣ Gabarits de chat ( chat template )

Les gabarits de chat structurent les interactions entre les utilisateurs et les modèles d’IA, garantissant des réponses cohérentes et appropriées. Ils comprennent des éléments tels que les instructions (prompts en anglais) du système et des balises attribuant les tours de rôle.

##
2️⃣ Finetuning supervisé

Le finetuning supervisé est un processus essentiel pour adapter les modèles de langage pré-entraînés à des tâches spécifiques. Il s’agit d’entraîner le modèle sur un jeu de données spécifique à la tâche avec des exemples étiquetés. Pour un guide détaillé sur le finetuning, y compris les étapes clés et les meilleures pratiques, voir la section sur le finetuning supervisé de la documentation de la bibliothèque TRL.

##
3️⃣ Low Rank Adaptation (LoRA)

Low Rank Adaptation (LoRA) est une technique de finetuning ajoutant des matrices de rangs inférieurs aux couches du modèle de langage. Cela permet un finetuning efficace tout en préservant les connaissances pré-entraînées du modèle. L’un des principaux avantages de la méthode LoRA réside dans les économies de mémoire considérables qu’elle offre, ce qui permet de finetuner des modèles de grande taille sur des ressources matérielles limitées.

##
4️⃣ Évaluation

L’évaluation est une étape cruciale du processus de finetuning. Elle nous permet de mesurer les performances du modèle sur un jeu de données spécifique à une tâche.

⚠️ Afin de bénéficier de toutes les fonctionnalités disponibles du Hub d'Hugging Face et de 🤗 Transformers, nous recommandons la création d'un compte.

##
Réferences

- La documentation de Transformers sur les gabarits de chat
- Script pour le finetuning supervisé dans TRL
- `SFTTrainer` dans TRL
- Papier de la méthode Direct Preference Optimization (DPO)
- La documentation de TRL sur le finetuning supervisé
- Comment finetuner le modèle Gemma de Google avec ChatML et TRL
- Finetuning d’un LLM pour générer des catalogues de produits en persan au format JSON

< > Update on GitHub