OpenAI présente BioBasicsBench pour évaluer les agents IA sur des données de laboratoire

Ce qui est nouveau

OpenAI présente BioBasicsBench, un banc d’essai développé avec Ligo, une entreprise spécialisée dans la conception d’enzymes. Ses 100 tâches évaluent la capacité des agents d’intelligence artificielle à interpréter des données expérimentales, à détecter des erreurs et à reconnaître qu’une conclusion n’est pas suffisamment étayée.

Le test couvre les méthodes relatives aux protéines, l’imagerie et la cytométrie, la quantification et les essais, les méthodes portant sur les acides nucléiques et le clonage moléculaire. Les données comprennent notamment des images de gels, des photographies de colonies, des fichiers de séquençage, des relevés d’instruments et des vidéos de manipulations.

Ce qui change et pourquoi

Selon OpenAI, les évaluations fondées sur des figures sélectionnées pour des publications scientifiques peuvent laisser de côté les ambiguïtés du travail expérimental : images difficiles à interpréter, expériences ratées ou observations contradictoires. BioBasicsBench cherche à mesurer la capacité des agents à traiter ces situations, plutôt qu’à seulement lire des résultats déjà mis en forme.

Les scientifiques ont construit les tâches à partir de leurs propres expériences. Chacune associe une question à un barème rédigé par des experts et a fait l’objet de plusieurs relectures, dont une externe. La notation attribue des points à des critères distincts : conclusion, mesure, raisonnement ou reconnaissance d’une preuve insuffisante. Elle permet ainsi de distinguer une réponse entièrement correcte d’une analyse partielle.

Pourquoi c'est important

Au réglage de raisonnement « xhigh », qui autorise davantage de raisonnement par tâche, OpenAI rapporte que GPT‑6 Astra obtient en moyenne 66,7 % des points disponibles, contre 43,8 % pour GPT‑5.6 Sol. Ces chiffres ne représentent donc pas la proportion de tâches intégralement réussies.

L’intérêt du test tient aussi aux erreurs qu’il cherche à repérer : mal lire une image ou négliger un témoin expérimental peut conduire à une conclusion erronée et à des expériences inutiles. Les résultats mesurent toutefois l’analyse de données, pas l’exécution autonome de manipulations. OpenAI souligne encore des limites dans l’interprétation des images, la vérification des témoins et la prise en compte du contexte expérimental.