#
Pratique

Maintenant que vous êtes prêt à plonger plus profondément dans la création de votre agent final, voyons comment vous pouvez le soumettre pour évaluation.

##
Le Dataset

Le dataset utilisé dans ce classement se compose de 20 questions extraites des questions de niveau 1 de l’ensemble de validation de GAIA.

Les questions choisies ont été filtrées en fonction du nombre d’outils et d’étapes nécessaires pour répondre à une question.

Sur la base de l’état actuel du benchmark GAIA, nous pensons que vous faire viser 30% sur les questions de niveau 1 est un test équitable.

##
Le processus

Maintenant, la grande question dans votre esprit est probablement : “Comment puis-je commencer à soumettre ?”

Pour cette unité, nous avons créé une API qui vous permettra d’obtenir les questions et d’envoyer vos réponses pour notation. Voici un résumé des routes (voir la documentation en direct pour les détails interactifs) :

- `GET /questions` : Récupérer la liste complète des questions d’évaluation filtrées.
- `GET /random-question` : Récupérer une seule question aléatoire de la liste.
- `GET /files/{task_id}` : Télécharger un fichier spécifique associé à un ID de tâche donné.
- `POST /submit` : Soumettre les réponses de l’agent, calculer le score et mettre à jour le classement.

La fonction de soumission comparera la réponse à la vérité terrain de manière CORRESPONDANCE EXACTE, donc formulez bien vos prompts ! L’équipe GAIA a partagé un exemple de formulation pour votre agent ici (pour les besoins de ce cours, assurez-vous de ne pas inclure le texte “FINAL ANSWER” dans votre soumission, faites simplement que votre agent réponde avec la réponse et rien d’autre).

🎨 Personnalisez le Modèle !

Pour démontrer le processus d’interaction avec l’API, nous avons inclus un modèle de base comme point de départ.

N’hésitez pas—et nous vous encourageons activement—à le changer, y ajouter ou le restructurer complètement ! Modifiez-le de toute manière qui convient le mieux à votre approche et à votre créativité.

Pour soumettre ces modèles, calculez 3 éléments nécessaires à l’API :

- Nom d’utilisateur : Votre nom d’utilisateur Hugging Face (ici obtenu via la connexion Gradio), qui est utilisé pour identifier votre soumission.
- Lien de code (`agent_code`) : l’URL pointant vers le code de votre Space Hugging Face (`.../tree/main`) à des fins de vérification, alors veuillez garder votre space public.
- Réponses (`answers`) : La liste des réponses (`{"task_id": ..., "submitted_answer": ...}`) générées par votre agent pour la notation.

Nous vous encourageons donc à commencer par dupliquer ce modèle sur votre propre profil huggingface.

🏆 Consultez le classement ici

Une note amicale : Ce classement est destiné à s’amuser ! Nous savons qu’il est possible de soumettre des scores sans vérification complète. Si nous voyons trop de scores élevés publiés sans lien public pour les soutenir, nous pourrions avoir besoin de réviser, ajuster ou supprimer certaines entrées pour maintenir l’utilité du classement. Le classement montrera le lien vers votre base de code space, puisque ce classement est réservé aux étudiants, veuillez garder votre space public si vous obtenez un score dont vous êtes fier.

< > Update on GitHub