L'endosymbiote originel (un Gloméromycète semble-t-il), serait apparu il y a environ 450 millions d'années au Paléozoïque, probablement au même moment que les premières plantes terrestres. Des fossiles de la flore de Rhynie (Aglaophyton...), d'environs 400 millions d'années, comportent des mycorhizes morphologiquement identiques aux Glomales. Ceci laisse penser que les mycorhizes ont été l’instrument d'une colonisation accélérée des terres émergées, par leur capacité à extraire l’eau et les minéraux du sol.
Ces premières associations ont aussi pu permettre la constitution d'un sol résistant mieux aux intempéries, stockant mieux l'eau, tout en améliorant la résistance des plantes au stress hydrique, leur tenue au vent et au ruissellement, ainsi peut-être que leur résistance aux trop fortes intensités lumineuses, comme c'est le cas des mycophycobiontes de certaines algues de l'estran (ces symbioses, avec des ascomycètes principalement, sembleraient être apparues secondairement).
Cette symbiose correspond à un saut macroévolutif (bond de l'évolution) puisque les fonctions d’un des partenaires s’associent aux fonctions de l’autre, avec des effets fonctionnels multipliés. En effet on passe de l’état algue et champignon à celui de plante mycorhizée terrestre (ce qui va à l'encontre du gradualisme Darwinien).
A l’heure actuelle, 85 % des Archégoniates, ainsi que des Ptéridophytes et des Hépatiques, sont endomycorhizés par des Glomales. Cela suppose que la symbiose avec les Glomales est la plus ancienne chez les Archégoniates et qu’elle aurait permis l’impressionnante radiation de ces derniers (diversité, lignification…).
Les autres familles de Gloméromycètes (Acaulosporaceae et Gigaspora ) sont apparues plus tard vers -250/-230 millions d’années. Elles possèdent des capacités supérieures pour l’exploitation des ressources minérales des sols.
Les ectomycorhizes, quant à elles, seraient peut-être apparues au Crétacé mais les plus vieux fossiles connus ne datent que de l’Eocène. Elles ont permis la colonisation de sols antérieurement défavorables. C’est également à cette époque que des symbioses fixatrices d’azotes sont apparues.
La symbiose ectomycorhiziennes est apparue de nombreuses fois indépendamment dans différents clades des champignons (Gloméromycètes, Ascomycètes, Basidiomycètes) et de Spermaphytes (Gymnospermes, Angiospermes). On constate qu’un certain nombre de plantes contractant une symbiose mycorhizienne, plus récente d’un point de vue évolutif, sont susceptibles de contracter aussi une association à mycorhizes à arbuscules. Il semble donc qu’il y ait eu des innovations évolutives dans ce type de symbiose. Ces innovations expliquent sans doute le nombre limité de plantes capables les contracter.
L'apparition d'ectomycorhizes a été corrélée deux fois à des radiations évolutives des plantes : - Au Crétacé (apparition des pinacées et des rosidées) - Lors de la transition Éocène-Oligocène (apparition des forêts '« actuelles »' de l'hémisphère Nord). Plus récemment encore d’autres formes d’endomycorhizes et d’ectomycorhizes à pelotons sont apparues chez les Ericales. Leurs symbiotes fongiques ont des capacités saprophytes encore plus fortes permettant à la plante de réingérer directement le carbone organique par le biais du champignon, dans les sols où l’activité de minéralisation est très faible (landes, haute montagne, écosystèmes froids…) : la symbiose permet un couplage de niveaux trophiques.
Les angiospermes sans mycorhizes (Brassicacées, Chénopodiacées...) les auraient perdus secondairement.