Le terme Agnathe correspond avant tout à une étape dans l'évolution vers les vertébrés. Au cours du Précambrien, des organismes se dotent d'une corde (ancêtre de la colonne vertébrale) sur laquelle peuvent se fixer des muscles leur conférant ainsi une meilleure mobilité. Puis au cours de l'Ordovicien, apparaissent des organismes tels que Sacabambaspis (Bolivie), Arandaspis (Australie) et Astraspis (Amérique du Nord) qui se dotent d'un exosquelette (carapace externe) protégeant la partie antérieure de leur corps et laissant la partie postérieure souple pour faciliter les mouvements de leur unique membre (queue). Ils sont ainsi les premiers crâniates à apparaître.
Les Hétérostracés puis les Anaspidés, apparus au Dévonien et Silurien, améliorent l'exosquelette qui s'organise en baguettes chez les Anaspidés. Il devient composé d'aspidine et de dentine puis s'ossifie chez les Ostéostracés. Dans le même temps, la queue, simple extension de la chorde, se spécialise avec le développement de lobes.
L'apparition des gnathostomes résulte de la migration des arcs branchiaux les plus antérieurs au niveau du crâne pour former les mandibules (mâchoires). On parle donc d'homologie entre la mâchoire des gnathostomes et les arcs branchiaux des agnathes. Les premiers organismes appartenant à ce groupe sont apparus au Silurien et ont surtout permis la création d'un nouveau mode de vie : la prédation.