À l'époque de l'industrialisation, les fortifications n'étaient vues que comme des obstacles gênants. En 1808, le deuxième Holstentor extérieur, en 1828 le Holstentor intérieur, et en 1853 le Holstentor intermédiaire furent démolis. Il ne s'agissait alors plus que d'une question de temps, avant que le Holstentor intermédiaire, la seule des quatre portes restante, ne soit détruit. De fait, en 1855 une pétition des citoyens de Lübeck fut présentée devant le Sénat afin de se débarrasser finalement de la porte restante, car une extension des installations ferroviaires était envisagée. 683 signatures soutenaient cette pétition. Mais il y avait également à cette époque des citoyens opposés à la destruction du vieux bâtiment.
La querelle au sujet de la démolition a traîné en longueur. Ce n'est qu'en 1863 que l'on parvint à la décision, avec seulement une voix de plus que la majorité au conseil municipal de Lübeck, de ne pas détruire le bâtiment et, au contraire, de le restaurer complètement.
Entre temps, la porte était tombée dans un très mauvais état, car elle s'enfonçait chaque année de quelques centimètres dans le sol. Les meurtrières les plus basses s'étaient retrouvées 50 centimètres au-dessous du niveau du sol, et l'inclinaison de la porte en entier prenait une ampleur dangereuse. La statique du bâtiment s'était transformée de manière spectaculaire, de sorte que l'on craignait un effondrement. Le Holstentor fut restauré de fond en comble jusqu'en 1871.
À ce moment, la relation des habitants de Lübeck avec le Holstentor changea. Il ne fut plus jamais tenu pour une ruine gênante, mais pour l'emblème d'un fier passé. En 1925, le Deutscher Städtetag (Conseil de Villes allemand) fait du Holstentor son emblème. Déjà en 1901, le producteur de massepain Niederegger avait mis le Holstentor sur le sigle de son entreprise. D'autres firmes de Lübeck l'adoptèrent également.
Comme l'inclinaison des tours progressait et qu'un effondrement n'était toujours pas à écarter, une deuxième restauration fut nécessaire. Elle survint dans les années 1933-1934, au terme de laquelle le Holstentor fut consolidé d'une manière telle qu'il pouvait enfin tenir sans risque. Au cours de cette restauration, des ancres en béton armé entourées d'anneaux de bronze furent enfoncées pour garantir la sûreté des tours. Mais des transformations ont également été entreprises, entre autres le regroupement des étages de la tour nord déjà mentionné, et ne correspondent pas au caractère d'origine de la porte. Les Nazis firent du Holstentor un musée, qu'ils le nommèrent Ruhmes- und Ehrenhalle ("Galerie de l'Honneur et de la Gloire"), pour présenter une histoire falsifiée de Lübeck et de l'Allemagne.
Le Holstentor a été de nouveau restauré en 2005-2006.
Au fil des siècles, la riche et aisée ville hanséatique de Lübeck a jugé utile de se protéger des menaces venues de l'extérieur par des murs toujours plus épais et des fortifications toujours plus importantes. À cet effet, trois portes permettaient l'entrée dans la ville : le Burgtor au nord, le Mühlentor au sud, et le Holstentor à l'ouest. La ville était protégée à l'est par des pierrailles accumulées ; là se trouvait la porte moins militarisée du Hüxtertor.
Ces portes de villes n'étaient au début que de simples portes et ont été par la suite renforcées, de telle sorte que chacune d'entre elles comportait finalement une porte extérieure, une porte intermédiaire, et une porte intérieure. De nos jours, seuls subsistent des fragments de ces portes. Ce qu'on appelle aujourd'hui Burgtor est l'ancien Burgtor intérieur, les portes intermédiaire et extérieure n'existant plus. Les trois Mühlentor ont complètement disparu. Ce qu'on appelle aujourd'hui Holstentor est l'ancien Holstentor intermédiaire ; à côté on trouvait un Holstentor intérieur (encore plus ancien), un Holstentor extérieur, et une quatrième porte, nommée deuxième Holstentor extérieur. L'histoire du Holstentor est par conséquent plutôt l'histoire de quatre portes alignées les unes derrière les autres, même si seule l'une d'entre elles subsiste encore.
Naturellement, les dénominations d'une seule porte changent avec l'apparition et la disparition des autres composantes. Le Holstentor intermédiaire était autrefois une porte extérieure, avant que deux autres portes n'aient été érigées au-delà. Aujourd'hui encore on rencontre une certaine confusion entre les noms quand on adopte un point de vue historique. Ci-après sont décrites les quatre portes et leur histoire.
Le plus ancien des Holstentor, dénommé Inneres Holstentor (Holstentor intérieur) veillait directement sur la rive de la Trave. Depuis la ville, on devait passer par cette porte pour accéder au pont Holstenbrücke qui franchissait le fleuve. On ne sait pas quand une porte a été érigée ici pour la première fois. La Holstenbrücke est mentionnée pour la première fois en 1216 dans un acte de donation du roi danois. Il est vraisemblable qu'il y avait déjà en ce temps une porte et un mur le long de la Trave. L'appellation Holstenbrücke (et Holstentor) vient simplement du fait que la sortie ouest de la ville pointait vers la région de Holstein.
Des documents indiquent qu'en 1376, le pont et la porte ont été rénovés. L'apparence de la porte alors érigée nous a été transmis par une gravure sur bois de l'artiste Elias Diebel. Il s'agissait d'une tour rectangulaire avec une galerie en bois sur la partie supérieure.
À un moment inconnu du XVIIe siècle, le Holstentor intérieur a été remplacé par une simple tour à colombages, plus petite. Peut-être ne voyait-on plus l'intérêt, avec les solides fortifications extérieures construites entre temps, d'avoir une porte intérieure importante. Le Holstentor intérieur était relié avec la maison du douanier, qui surveillait l'accès à la ville.
La tour à colombages a été remplacée en 1794 par une simple porte de grille ; celle-ci a été démolie en 1828, en même temps que la maison du douanier et le mur de ville le long de la Trave.
Il est probable qu'il y avait également auparavant une autre porte sur la rive opposée de la Trave. Si elle a existé, elle a été démolie aux alentours de la construction du Holstentor intermédiaire.
Au XVe siècle, les aménagements en portes n'ont plus été jugés suffisants. La diffusion des armes à feu et des canons rendait nécessaires des fortifications plus solides. On a donc décidé de construire une porte supplémentaire : le Holstentor extérieur, plus tard connu sous le nom de Mittleres Holstentor (Holstentor intermédiaire), et maintenant dénommée seulement Holstentor. La construction débute en 1464, sous la direction de l'architecte principal de la ville, Hinrich Helmstede ; la porte est achevée en 1478. Elle a été érigée sur une butte spécialement aménagée, haute de 7 m. Déjà pendant la construction, ce support se révélait instable. La tour sud s'affaissait dans le sol marécageux, de sorte que l'on a essayé déjà en continuant la construction de parvenir à un équilibre propre à compenser l'inclinaison.
Pour la suite de l'histoire du Holstentor intermédiaire, voir le paragraphe .
Le troisième des Holstentor, dénommé Äußeres Holstentor (Holstentor extérieur) était également connu sous les noms de Renaissancetor (porte de la Renaissance) ou Vortor (porte avancée). Elle a été érigée au XVIe siècle, quand on a dressé un rempart à l'ouest du Holstentor intermédiaire, et découpé une nouvelle porte dans celui-ci. Le Holstentor extérieur a été achevé en 1585. Son entrée est n'était éloignée que de 20 m du Holstentor intermédiaire, de sorte que la nouvelle porte lui masquait la vue. Entre les deux portes se trouvait une enceinte entourée de murs.
Comparé au Holstentor intermédiaire, qui lui était antérieur de plus d'un siècle, le Vortor était moins spectaculaire, mais pourtant abondamment décoré sur la façade côté extérieur. La façade côté ville était en revanche simple. En tant que première des portes, le Holstentor extérieur portait une inscription. Elle annonçait côté ville : Pulchra res est pax foris et domi concordia - MDLXXXV ("Belles sont la paix à l'extérieur et l'harmonie à l'intérieur - 1585"). Elle a été plus tard transférée côté extérieur et légèrement modifiée (Concordia domi et foris pax sane res est omnium pulcherrima, "Harmonie à l'intérieur et paix à l'extérieur sont précisément le mieux pour tous"). La porte était reliée à l'habitation du maître des remparts, qui s'occupait des fortifications.
L'architecte du Renaissancetor était probablement l'architecte principal de la ville, Hermann von Rode, qui s'est inspiré pour la façade d'exemples néerlandais. On peut par exemple la mettre en parallèle avec la Nieuwe Oosterpoort de Hoorn. La porte a existé pendant environ 250 ans, pour finir finalement victime du chemin de fer : elle a été démolie en 1853 pour faire place à la première gare de Lübeck et aux voies ferrées. Aujourd'hui, cette gare n'existe plus ; la gare principale actuelle se trouve environ 500 mètres plus à l'ouest.
Au début du XVIIe siècle, de nouveaux remparts ont été construits sous le contrôle du maître des fortifications Johann von Brüssel. Dans le cadre de ces constructions, un quatrième Holstentor, nommé Zweites äußeres Holstentor (deuxième Holstentor extérieur), a été érigé en 1621. Il était totalement inclus dans les hauts remparts et couronné d'une tour octogonale. Les arcades de la porte portaient les inscriptions Si deus pro nobis, quis contra nos ("Si Dieu est avec nous, qui donc peut être contre nous ?", côté ville) et Sub alis altissimi ("Sous la protection du Suprême", côté champs). La dernière à naître des quatre portes fut aussi la première à disparaître, en 1808.