La construction du Colisée a commencé sous le règne de l'empereur Vespasien, autour de 70-72. L'endroit choisi était un endroit plat au fond d'une vallée basse au fond de laquelle courait un ruisseau canalisé, entre le Cælius, l'Esquilin et le Palatin.
Au IIe siècle, la région était densément habitée. Elle avait été dévastée par le Grand incendie de Rome, en 64. À cette occasion, Néron s'était saisi d'une grande partie de la zone pour l'ajouter à son domaine. Il y construisit la magnifique domus aurea devant laquelle il créa un lac artificiel entouré de pavillons, jardins et portiques.
L'aqueduc préexistant de l'Aqua Claudia fut prolongé pour l'approvisionnement en eau de cette zone, et la gigantesque statue de bronze sous le nom de Colosse de Néron fut mise en place non loin de l'entrée de la Domus Aurea.
La zone a été transformée par Vespasien et ses successeurs. La statue colossale fut conservée, mais on démolit une grande partie de la Domus Aurea. Le lac fut comblé et le terrain réutilisé pour la construction du nouvel amphithéâtre Flavien. Des écoles de gladiateurs et d'autres bâtiments annexes furent construits à proximité, sur les anciens terrains de la Domus Aurea.
Selon une inscription trouvée sur le site, « l'empereur Vespasien a ordonné que l'on édifie ce nouvel amphithéâtre sur sa propre part de butin ». Il y a lieu de penser que cela se réfère à la grande quantité de trésors saisis par les Romains suite à leur victoire dans la Première Guerre judéo-romaine de 70. Le Colisée peut donc être interprété comme un grand monument triomphal construit dans la tradition romaine de célébration des grandes victoires.
La décision de Vespasien de construire le Colisée sur le site du lac de Néron peut aussi être vue comme un geste populiste de retour au domaine public d'un quartier annexé par Néron pour son propre usage. Contrairement à beaucoup d'autres amphithéâtres situés à la périphérie des villes, le Colisée fut construit littéralement et symboliquement au cœur de Rome.
À la mort de Vespasien, en 79, le troisième étage du Colisée était achevé. Le dernier niveau fut inauguré par son fils Titus, en 80. Dion Cassius rapporte que 9 000 bêtes sauvages furent tuées lors des jeux inauguraux.
Le bâtiment fut ensuite rénové par Domitien, fils cadet de Vespasien, empereur nouvellement désigné, qui ajouta l'hypogée , réseau de souterrains utilisés pour abriter les animaux et les gladiateurs. Il adjoignit également une galerie tout au sommet du Colisée, destinée à accroître encore le nombre de places.
En 217, le Colisée fut gravement endommagé par un incendie majeur (causé par la foudre, selon Dion Cassius) qui détruisit les étages supérieurs des gradins construits en bois. Il ne fut entièrement réparé que vers 240 et subit d'autres réparations en 250 ou 252, puis en 320. Une inscription enregistre la restauration de diverses parties du Colisée sous Théodose II et Valentinien III (règne : 425-450), peut-être pour réparer les dommages causés par un tremblement de terre majeur, en 443 ; d'autres travaux furent entrepris en 484 et en 508.
L'arène a continué d'être utilisée pour des concours jusqu'au VIe siècle au moins, avec les derniers combats de gladiateurs vers 435. Les chasses aux animaux sauvages se poursuivirent au moins jusqu'en 523.
Le Colisée a connu bien des changements au cours du Moyen Âge. Une petite église fut construite à l'intérieur de la structure, à la fin du VIe siècle, et l'arène devint un cimetière.
Les nombreux espaces voûtés, sous les gradins, furent utilisés comme habitations ou comme ateliers, et on relève encore des locataires au XIIe siècle, époque où les Frangipani fortifièrent l'édifice, apparemment pour en faire une forteresse.
Le Colisée eut à souffrir du grand tremblement de terre de 1349 qui provoqua l'effondrement de tout un pan du mur extérieur du côté sud. Une grande partie des pierres fut alors récupérée pour la construction des palais, églises, hôpitaux et autres bâtiments. Les placages de marbre alimentèrent les fours à chaux. Les agrafes de fer ou de bronze scellées au plomb servant à assujettir les pierres furent systématiquement pillées en creusant au burin entre les joints, laissant les innombrables cicatrices aujourd'hui visibles sur tous les murs intérieurs et extérieurs.
Un ordre religieux s'installa même dans les ruines au milieu du XIVe siècle, pour s'y maintenir jusqu'à la fin du XIXe siècle.
Au cours des XVIe et XVIIe siècles, les fonctionnaires de l'Église cherchèrent à donner un rôle productif au grand monument à l'abandon. Sixte Quint (1585-1590) envisagea de transformer l'édifice en filature de laine où l'on emploierait les prostituées, mais cette proposition ne fut pas suivie d'effet par suite de son décès. En 1671, le cardinal Altieri autorisa son utilisation pour des courses de taureaux, ce qui provoqua un tollé.
En 1749, Benoît XIV décida que la politique officielle de l'Église serait de faire du Colisée le lieu sacré où les premiers chrétiens ont été martyrisés. Il interdit l'utilisation du Colisée comme carrière, et consacra l'édifice à la Passion du Christ et fit installer un chemin de croix, le déclarant sanctifié par le sang des martyrs chrétiens qui y périrent. Plus tard furent entrepris divers projets de restauration et de stabilisation : la façade fut renforcée par des étais de brique en 1807 et 1827, et l'intérieur fut restauré en 1831, 1846 et 1930. L'arène fut partiellement fouillée en 1810-1814 et en 1874, puis totalement déblayée dans les années 1930.