Bien que les fossiles connus de cellules procaryotes ont été datés de près de 3,5 milliards d'années, la plupart des procaryotes n'ont pas de morphologies distinctives et les formes des fossiles ne peuvent pas être utilisées pour les identifier comme étant des archaea. Par contre, les fossiles chimiques, sous la forme des lipides caractéristiques des archées, donnent plus d'informations, car ces composés n’existent pas dans d'autres groupes d'organismes. Certaines publications ont suggéré que des lipides fossiles provenant de procaryotes ou d’eucaryotes étaient présents dans les schistes datant de 2,7 milliards d'années.Depuis, ces données ont toutefois été sujettes à question. Ces lipides ont également été détectés dans des roches datant du précambrien. Les plus anciennes traces connues de ces lipides isopréniques proviennent des roches de la formation d'Isua à l'ouest du Groenland, qui comprennent des sédiments formés il y a 3,8 milliards d'années et qui sont les plus anciens sur Terre.
Woese propose que les bactéries, les archées et les eucaryotes représentent chacune une lignée séparée qui aurait divergé à partir d’une colonie d'organismes ancestrale. D’autres biologistes, cependant, ont fait valoir que les archées et les eucaryotes proviennent d'un groupe de bactéries. Il est possible que le dernier ancêtre commun des bactéries et des archées soit un organisme thermophile, ce qui soulève la possibilité que la vie soit apparue dans des conditions de températures élevées. Cette hypothèse n’est toutefois pas approuvée par l’ensemble de la communauté scientifique. Par ailleurs, étant donné que les archées et les bactéries ne sont pas plus liées entre elles qu'elles ne le sont aux cellules eucaryotes, cela conduit à l'argument selon lequel le terme procaryote n'a pas de véritable signification évolutive et devrait être entièrement rejeté.
La relation entre les archées et les eucaryotes reste un probléme important. En plus des similitudes dans la structure cellulaire et les mécanismes biochimiques qui sont discutés ci-dessous, de nombreux arbres phylogénétiques groupent les archées et les eucaryotes ensemble. Certaines des premières analyses ont même suggéré que la relation entre les eucaryotes et les archées de l’embranchement Euryarchaeota est plus proche que la relation entre les embranchements euryarchaeota et crenarchaeota. Toutefois, il est maintenant considéré comme plus probable que l'ancêtre des eucaryotes a divergé tôt à partir de l’ancêtre commun avec les archaea. La découverte de gènes provenant d’archées dans le génome de certaines bactéries, telles que thermotoga maritima, rend les relations entre organismes encore plus difficiles à déterminer, étant donné que le transfert horizontal de gènes a eu lieu. Les gènes archéens dans les génomes eucaryotes pourraient également provenir de transfert horizontal. Certains auteurs suggèrent que les eucaryotes se sont développés à partir d’une fusion entre des bactéries et des archées (théorie endosymbiotique).