#
Qu’est-ce que GAIA ?

GAIA est un benchmark conçu pour évaluer les assistants IA sur des tâches du monde réel qui nécessitent une combinaison de capacités fondamentales—comme le raisonnement, la compréhension multimodale, la navigation web, et l’utilisation compétente d’outils.

Il a été présenté dans l’article ”GAIA: A Benchmark for General AI Assistants”.

Le benchmark comprend 466 questions soigneusement sélectionnées qui sont conceptuellement simples pour les humains, mais remarquablement difficiles pour les systèmes IA actuels.

Pour illustrer l’écart :

- Humains : ~92% de taux de réussite
- GPT-4 avec plugins : ~15%
- Deep Research (OpenAI) : 67,36% sur l’ensemble de validation

GAIA souligne les limitations actuelles des modèles IA et fournit un benchmark rigoureux pour évaluer les progrès vers des assistants IA vraiment polyvalents.

##
🌱 Principes Fondamentaux de GAIA

GAIA est soigneusement conçu autour des piliers suivants :

- 🔍 Difficulté du monde réel : Les tâches nécessitent un raisonnement en plusieurs étapes, une compréhension multimodale et une interaction avec des outils.
- 🧾 Interprétabilité humaine : Malgré leur difficulté pour l’IA, les tâches restent conceptuellement simples et faciles à suivre pour les humains.
- 🛡️ Non-gameabilité : Les réponses correctes exigent l’exécution complète de la tâche, rendant la force brute inefficace.
- 🧰 Simplicité d’évaluation : Les réponses sont concises, factuelles et non ambiguës—idéales pour l’évaluation comparative.

##
Niveaux de Difficulté

Les tâches GAIA sont organisées en trois niveaux de complexité croissante, chacun testant des compétences spécifiques :

- Niveau 1 : Nécessite moins de 5 étapes et une utilisation minimale d’outils.
- Niveau 2 : Implique un raisonnement plus complexe et une coordination entre plusieurs outils et 5-10 étapes.
- Niveau 3 : Exige une planification à long terme et une intégration avancée de divers outils.

##
Exemple d’une Question GAIA Difficile

> Which of the fruits shown in the 2008 painting “Embroidery from Uzbekistan” were served as part of the October 1949 breakfast menu for the ocean liner that was later used as a floating prop for the film “The Last Voyage”? Give the items as a comma-separated list, ordering them in clockwise order based on their arrangement in the painting starting from the 12 o’clock position. Use the plural form of each fruit.

Comme vous pouvez le voir, cette question défie les systèmes IA de plusieurs manières :

- Nécessite un format de réponse structuré
- Implique un raisonnement multimodal (par exemple, analyser des images)
- Exige une récupération multi-saut de faits interdépendants :
  - Identifier les fruits dans la peinture
  - Découvrir quel paquebot a été utilisé dans The Last Voyage
  - Rechercher le menu du petit-déjeuner d’octobre 1949 pour ce navire
- Nécessite un séquençage correct et une planification de haut niveau pour résoudre dans le bon ordre

Ce type de tâche souligne où les LLM autonomes échouent souvent, faisant de GAIA un benchmark idéal pour les systèmes basés sur des agents qui peuvent raisonner, récupérer et exécuter sur plusieurs étapes et modalités.

##
Évaluation en Direct

Pour encourager l’évaluation comparative continue, GAIA fournit un classement public hébergé sur Hugging Face, où vous pouvez tester vos modèles contre 300 questions de test.

👉 Consultez le classement ici

Vous voulez approfondir GAIA ?

- 📄 Lire l’article complet
- 📄 Article de présentation de Deep Research par OpenAI
- 📄 DeepResearch open-source – Libérer nos agents de recherche

< > Update on GitHub