Le fondateur, l'Abbé Jean-Baptiste Debrabant, est un prêtre français du diocèse de Cambrai. Aboli par la Révolution, l'enseignement catholique qui était jusqu'alors uniquement destiné aux garçons commençait à se réorganiser dans le sud de la France. Sensible à cette injustice, l'Abbé Debrabant fonda une nouvelle institution pour les filles: Les Sœurs de la « Sainte-Union des Sacrés-Coeurs », qui se développa bientôt en Belgique, en France, en Irlande et aux Amériques. À la demande de l'Evêque de Tournai, Monseigneur Labis, il prit la direction de la paroisse de Kain. En 1835, il rachète pour une somme symbolique l'auberge « Le Pèlerin » et c'est ainsi que naquit le 6 janvier 1836 le Collège Notre-Dame de la Tombe pour la jeunesse masculine qui désirait entreprendre des études secondaires.
L'établissement connait un vif succès. Dans les années 1870, le supérieur de l'époque fît de nombreux travaux tels qu'un bassin de natation, une salle d'étude, de gymnastique, de chimie, de physique ainsi que de vastes dortoirs. Malheureusement en 1880, peu avant sa mort, l'Abbé Debrabant fut contraint de remettre à l'Evêque de Tournai son Collège de la Tombe. Des prêtres reprirent alors le Collège.
Au début du XXe siècle, de nouvelles constructions eurent lieu telles que la chapelle (1909-1910), le hall central, le réfectoire et un dortoir.
Vinrent ensuite les années de guerre où le Collège dut évacuer chez les frères Jésuites à Tournai. Le collège dut se relever de la dispersion de ses professeurs et élèves.
Mais c'est surtout la seconde guerre mondiale qui fut la plus dommageable. Le bâtiment d'entrée fut fortement endommagé par des obus anglais pendant la bataille de l'Escaut en mai 1940. 4 janvier 1945 : Coup de théâtre ! Le collège est réquisitionné par les Autorités Anglaises pour devenir avec l’École Normale de la Sainte-Union et le Couvent des Pères de St Vincent de Paul, un Hôpital Général. Les étudiants des classes supérieures furent hébergés au couvent de la Salette à Tournai de janvier 1945 à juin 1946 alors que les plus jeunes élèves furent évacués au couvent de la Visitation à Blandain de janvier à juin 1945 et à Pont-à-Chin de septembre 1945 à juin 1949. L'occupation du collège par les troupes alliées de janvier 1945 à avril 1946 entraîna de tels dégâts que seule resta envisageable la démolition et la reconstruction de l'aile des salles d'études, ce qui fut réalisé pour la rentrée 1949-1950.
Il est à noter que l'Abbé Dropsy, professeur de sciences au collège dans les années 1930 et au début des années 1940, entra dans la résistance dès le commencement de la guerre; il deviendra commandant de l'armée secrète; c'est en sa mémoire que la rue du Collège deviendra en 1947 rue Abbé Dropsy.
En 1960, une section primaire s'ouvrit et les petites classes déménagèrent chez les Barnabites et à Kain Centre. Plus tard, l'expropriation des murs d'enceinte et d'une partie du bassin de natation sera exigée à cause de l'infrastructure routière menant au Mont Saint-Aubert. Le bassin disparaîtra en 1965.
L'année 1977 marque un tournant dans l'histoire du Collège : il n'y a plus de supérieur car un laïque, M.Guy de Saint Martin sera nommé directeur de l'école. Une nouvelle salle de sport et des classes primaires seront construits à la place du stade sous les ordres de l'Abbé Ameels.
Vu l'accroissement de la population du Collège, de nouveaux travaux seront de nouveau envisagés. De nouveaux locaux seront construits: locaux de dessin, musique, technologie, langue, latin, histoire et géographie. Les vieilles douches seront aménagées en laboratoires de sciences et la chapelle sera transformée en bibliothèque à l'étage et en salle polyvalente au rez-de-chaussée.