Dans un contexte évolutif, l'ensemble des taxons désignés par le terme poisson n'est plus considéré comme tel, ces taxons ayant des histoires évolutives différentes et formant donc différents clades.
Certains pensent que les poissons ont évolué à partir d'une créature du type ascidie (dont les larves ont des ressemblances avec les poissons primitifs) ; les premiers ancêtres des poissons auraient alors conservé leur forme larvaire à l'état adulte par néoténie, mais l'inverse est aussi possible. Les fossiles candidats au statut de « premier poisson » connus sont Haikouichthys, Myllokunmingia et Pikaia.
Les tout premiers fossiles de poissons ne sont guère nombreux, ni de bonne qualité : peut-être les poissons primitifs étaient-ils rares ou mal fossilisables ou les conditions taphonomiques mauvaises. Cependant, le poisson devint une des formes de vie dominantes du milieu aquatique et a donné naissance aux branches évolutives menant aux vertébrés terrestres comme les amphibiens, les reptiles et les mammifères.
L'apparition d'une mâchoire articulée semble être la raison majeure de la prolifération ultérieure des poissons, car le nombre d'espèces de poissons agnathes devint très faible. Les premières mâchoires ont été trouvées dans les fossiles de placodermes. On ignore si le fait de posséder une mâchoire articulée procure un avantage, par exemple pour la préhension ou la respiration.
La fonctionnalité essentielle qui a initialement structuré cet ordre a été la capacité de nager dans l'eau (ce que ne savaient faire ni les mollusques primitifs, ni les arthropodes primitifs). Toutefois, cette capacité n'a pas conduit à une explosion radiative : par elle-même, elle ne donne pas une autonomie fonctionnelle suffisante pour que les organismes puissent se spécialiser de manière très libre.
L'histoire de cette lignée paraît laborieuse : la découverte progressive de la tête et de la mâchoire, puis l'exploration des membres jusqu'au stade tétrapode, et enfin, la conquête de l'environnement aérien, aboutissant à l'explosion radiative des sauriens.
Les agnathes regroupent des animaux à corde dorsale et à crâne, mais sans mâchoires. Leur vie en milieu aquatique les a fait longtemps classer parmi les poissons.
Le taxon n'est pas considéré comme monophylétique, et doit être considéré comme obsolète dans une classification phylogénétique. Il comprend :
Les myxines et lamproies partagent des caractères morphologiques ancestraux à tous les crâniates, qui seront perdus chez les gnathostomes. Leur bouche rudimentaire, qui se comporte comme une ventouse, ne possède pas de mâchoires, et ne peut donc pas modifier son ouverture. Leur squelette est cartilagineux et composé d'une capsule crânienne et d'une colonne vertébrale sans côtes.
Si les agnathes actuels sont peu nombreux, de nombreux fossiles d'agnathes sont présent dans les sédiments du paléozoïque. Les agnathes furent les tout premiers crâniates à apparaître.
Les fonctionnalités explorées à ce stade évolutif portent sur le fonctionnement de la tête :
Chez les Chondrichthyens, aussi appelés « poissons cartilagineux », il n'y a globalement pas d'ossification endochondrale. Le squelette est donc très majoritairement composé de cartilage, et pas d'«os vrai». On peut y trouver les différentes espèces de requins, de raies et de chimères. Il faut ajouter que les os «os vrais» peuvent tout de même être observés chez les Chondrichtyens, mais en petite quantité La généralisation de l'os enchondral ne se trouvera que chez les ostéichtyens, étant par ailleurs leur synapomorphie principale.
Les principales synapomorphies des chondrichthyens incluent une couche de cartilage calcifié prismatique et, chez les mâles, les nageoires pelviennes portent des claspers pelviens (organes servant à l'accouplement).
Ces poissons bénéficient de deux autres acquis qui leur permettent d'être des nageurs plus performants et réactifs : l'oreille interne qui se perfectionne et acquiert un troisième canal semi-circulaire, et surtout les fibres nerveuses qui se couvrent de myéline, ce qui permet une transmission plus rapide de l'influx nerveux.
Comme leur nom l'indique, l'innovation la plus notable des poissons osseux est l'os. Le tissus osseux périchondral qui renforçait certains cartilages se généralise, et conduit à deux types d'os d'origines différentes :
On observe aussi la présence de sacs aériens connectés au tube digestif qui donneront les poumons des vertébrés terrestres et les vessies natatoires des Actinoptérygiens. Ces sacs aériens sont soupçonnés chez certains Gnathostomes fossiles. Les tentatives d'émancipation du milieu aquatique seraient alors apparues dans ce clade.
Les principales fonctionnalités évolutives explorées au niveau des poissons osseux sont l'articulation de la mâchoire, de plus en plus structurée, et la forme et la mobilité des nageoires.
On peut par exemple compter comme poissons à nageoires charnues (sarcoptérygiens) les cœlacanthes, les dipneustes ou encore les tétrapodes. Plusieurs innovations se retrouvent dans ce groupe :
Il apparaît donc évident, vu les membres de ce groupe, que pour rendre le groupe des poissons comme monophylétique (et donc le considérer en biologie, voir cladistique), il faut notamment y inclure tous les vertébrés terrestres (dont les humains font évidemment partie).