Peuplées depuis la seconde moitié du premier millénaire, les différentes îles des Comores ont suivi une histoire très voisine sans être pour autant commune. C'est la France, puissance coloniale qui unit administrativement les îles. L'histoire des îles se sépare à nouveau après 1976, après la formation de la République fédérale islamique des Comores et le vote de Mayotte de rester sous administration française.
Les premières traces de peuplement datent du VIe siècle et il s'agit probablement de Bantous provenant de la côte africaine. Ces premiers habitants mettent en place une organisation politique et sociale proprement africaine. Entre le VIIe siècle et le XIIe siècle on suppose que les Austronésiens qui contribuent au peuplement de l’île de Madagascar, sont passés par les Comores, mais ne s’y sont pas établis. Initialement, les villages sont régis par les doyens que sont les chefs des familles les plus influentes ou les chefs de villages. Ils portent le titre de mafé, mfaume ou mafani à Anjouan ou Mohéli (Mfalume en kiunguja). Les mafés laissent la place assez rapidement à des Mabedja qui forment une chefferie dirigeante dans chaque village.
À partir du XVIe siècle, les Malgaches Sakalavas effectuent des raids dans les îles et raflent des esclaves. Les Comoriens, à cette époque, sont eux-mêmes déjà esclavagistes, trafiquant pour le monde arabe et européen. Les Malgaches finissent par s'installer dans les îles et plus fermement à Mayotte. On parle encore malgache à Mayotte pour cette raison.
Durant cette période, au cours de l'exploration systématique de toute cette région, les Portugais abordent les îles de la Lune (K'm'r en arabe signifie lune) en 1505. En 1529, les Français, par l'intermédiaire d'un frère de Parmentier, visitent ces îles ainsi que la côte nord de Madagascar. L'archipel constitue pendant plusieurs siècles, pour les européens et les pirates (voir Combat d'Anjouan), une escale sur la côte est de l'Afrique. Les relations entre ces Européens et les souverains locaux reposent pour l'essentiel, sur le rapport des forces. Une tradition rapporte ainsi qu'un chef de la Grande Comore a dû se soustraire, par la fuite, à la tyrannie des Portugais en se réfugiant avec une partie des siens à Mayotte. Anjouan est soumise, elle, à un seul pouvoir durant ce siècle.
Au XVIIe siècle, l’archipel devient un point de relâche pour les navires européens, hollandais, anglais ou français, en route pour le Golfe Persique, les Indes ou l’Extrême-Orient. Anjouan devient également populaire pour les pirates et corsaires qui pillent les navires occidentaux qui doivent passer le Cap de Bonne-Espérance. Le Combat d'Anjouan fait référence à ces événements.
À partir d'une date inconnue, Mohéli se trouve soumise au sultanat d'Anjouan jusqu'en 1830. En 1830, des migrants de Madagascar conduits par Ramanetaka, qui plus tard prend le nom de Abderemane, envahissent l'île et établissent le sultanat de Mohéli.
Ces raids, restés dans les récits populaires, sont courants jusqu'au XVIIIe siècle. Des sources estiment le nombre des envahisseurs à plusieurs dizaines de milliers d'hommes. Ces raids sont facilités par l'absence de pouvoir central fort sur ces îles (sauf pour Anjouan). Domoni sur Anjouan est détruite en 1780.
L'islam y apparaît dès le IXe siècle comme en témoignent les sépultures de rite musulman découvertes à Mayotte dans la nécropole de Bagamoyo. Il s'agit vraisemblablement de marchands de passage originaires du Moyen Orient (arabo-persane de Chiraz) constituant les premières communautés musulmanes de l'archipel. Ces lignées princières Chirazi, originaires de la côte swahili fondent en effet les premiers sultanats, unifiant sous leur autorité les communautés villageoises alors commandées par des Mafani (Anjouan, Mohéli et Mayotte) et Bedja (Grande Comores). C'est à leur contact que les élites comoriennes vont progressivement s'islamiser. On considère le XIIe siècle comme l'époque pendant laquelle l'aristocratie comorienne est totalement islamisée car à cette date, le géographe arabe Al Idrissi nous renseigne, que dans les îles d'Al Komor, la population est un mélange de races et que l'élément dominant est musulman.
La plus ancienne mosquée de l'archipel se situe à Anjouan, sur le site du vieux Sima et daterait du XIIe siècle. L'islam pratiqué à cette date est fort influencé par le Chiisme dont on retrouve notamment l'écho dans la présence de sépultures dans l'axe du mihrab de nombreuses mosquées anciennes (culte du saint fondateur). L'islam sunnite chafiite ne s'impose dans le sud-ouest de l'Océan Indien qu'à partir du XIVe siècle d'après le témoignage d'ibn Battuta de 1331. Sima devient la première capitale du sultanat Shirazi d'Anjouan. C'est de cette époque que date la mosquée Shirazi, ses ruines sont encore visibles aujourd'hui. Domoni abrite une autre mosquée Chirazi de la fin du XVe siècle. Une inscription présente dans la mosquée du Vendredi de Moroni date sa construction de 1427, tandis qu'à Mbeni, une inscription date la mosquée du Vendredi de 1470.
En 1506, une flotte d'arabo-Shirazi commandée par Mohamed ben Haïssa aborde l’archipel et en bouleverse la vie économique et sociale. Dès lors, des manuscrits en caractères arabes, notent l'arabe, le comorien ou le swahili, et permettent de reconstituer les généalogies des clans et des sultanats, au demeurant particulièrement complexes. Par la subjugation et par le jeu d'alliances, ils contribuent ainsi à l'établissement de nouveaux lignages matrimoniaux, surtout à la Grande Comore et à l’île d’Anjouan. L'installation des sultanats shirazi contribue à l'adoption puis à la généralisation de la doctrine chafiite aux Comores comme le témoigne la description de l'archipel par l'amiral turc Piri Reis en 1521.
La mosquée shirazi de Tsingoni, longtemps interprétée comme la plus ancienne, date en réalité de 1538 comme en témoigne l'inscription conservée dans son mihrab.
Cependant, le caractère élitiste de l'islam aux Comores et l'existence d'une écrasante majorité d'esclaves dans la population expliquent la faible diffusion de l'islam dans les sociétés comoriennes jusqu'au XIXe siècle. On comprendra pourquoi les mosquées, notamment les mosquées royales shirazi, sont faites pour abriter un petit nombre de fidèles. L'abolition de l'esclavage et le succès des confréries à partir de la fin du XIXe siècle expliquent la large conversion des comoriens à l'islam à cette date.
Durant cette époque, le pouvoir est aux mains des nombreux sultans locaux dit batailleurs. Finalement Anjouan, qu'on dit la plus arabe des îles, finit par prendre contrôle, peu ou prou, de Mohéli.
Les systèmes issus de cette union superposent des coutumes africaines et arabo-musulmanes mais ne sont pas à même de fournir au détenteur du pouvoir les moyens de contrôler de grandes surfaces. Ainsi à la Grande Comore, cohabitent plusieurs sultanats dirigés par différents chefs (sultans) qui décident d'accorder une importance honorifique à l’un d’entre eux, le sultan Tibé. À Anjouan, trois lignages royaux implantés dans les trois principales villes (Mutsamudu, Ouani et Domoni) se partagent le pouvoir.
Un tel système doit tenir compte des avis d’un Grand Conseil (Mandjelissa) qui réunit les principaux grands notables. Le sultan est aussi secondé par des vizirs qui sont des relais du pouvoir dans certaines régions. On trouve aussi sur le plan local d’autres agents administratifs : naïbs (assimilables à des chefs de canton), chefs de la police, collecteurs d’impôts, chefs de village (nommés par le sultan) et chefs religieux. C’est de cette époque que datent les documents écrits et les manuscrits en langue arabe, en swahili ou en comorien, le tout présenté en alphabet arabe.