Restez toujours informé: suivez-nous sur Google Actualités (icone ☆)
Un nouvel examen se prépare. Son objectif: démontrer si une IA peut atteindre le niveau d'expertise d'un humain dans des domaines complexes.
Le projet, baptisé "Humanity's Last Exam" (Le dernier examen de l'humanité), a été lancé par le Center for AI Safety (CAIS) et la start-up Scale AI. Leur but est de concevoir des tests capables de mesurer les aptitudes d'IA sur des questions de haut niveau.
Les progrès réalisés par OpenAI et Anthropic montrent que les systèmes actuels battent des records dans des tests académiques, mais qu'ils peinent encore sur des tâches nécessitant une planification ou des raisonnements abstraits. Le besoin d'examens plus complexes devient évident. Dan Hendrycks, directeur du CAIS, souligne que les anciens tests, qu'il avait lui-même co-conçus en 2021, sont désormais trop simples pour évaluer les IA modernes. Leur pertinence diminue à mesure que les systèmes deviennent plus performants.
Le cœur du projet est un questionnaire de 1 000 questions. Ces questions seront suffisamment complexes pour décourager les non-experts et ne devront pas être solubles par une simple recherche en ligne. Une partie du contenu sera gardée secrète afin d'éviter que les IA n'apprennent à mémoriser les réponses.
Pour élaborer ce questionnaire, les organisateurs appellent les experts du monde entier à contribuer en soumettant des questions. Ces soumissions seront examinées par des pairs, et les meilleures se verront récompenser par des prix allant jusqu'à 5 000 $. Une restriction s'impose néanmoins: aucune question ne pourra porter sur les armes, par souci de sécurité. Le danger d'un savoir non maîtrisé par l'IA dans ce domaine est bien trop grand.
Alexandr Wang, PDG de Scale AI, affirme que ces tests doivent s'adapter à la vitesse de l'évolution des IA. Le public et les spécialistes sont ainsi mobilisés pour créer ce test ultime.
Ainsi, si vous avez cinq années d'expérience dans un domaine technique ou que vous disposez d'un doctorat sur un domaine sur lequel vous souhaitez challenger une IA, vous avez donc la liberté de soumettre une question via ce formulaire en ligne.
Pourrait alors s'en suivre un second challenge: l'utilisation des 5000 dollars. Pour ce sujet, on s'en doute, pas besoin d'IA !