Le Centre de l'activité physique (CAP) du cégep commence ses activités en 1975. Les installations intérieures du site du Centre de l'activité physique comprennent cinq gymnases (dont une palestre), deux murs d'escalade, une piscine, une salle d'entraînement ceinturée d'une piste de jogging, un dojo, une salle de danse et une salle de relaxation. Accessible à la population et aux étudiants, ces installations permettent la pratique d'activités physique récréatives et l'entraînement aérobique et musculaire. La salle d'entraînement du CAP est l'une des plus grandes au Québec. Le concept architectural du CAP fut élaboré avec les professeurs du département d'Éducation physique.
L'initiative CAP Jeunesse, camp de jour pour enfants organisé au CAP, est introduite en 1986. Le service est présentement offert à une clientèle âgés entre 3 et 17 ans et offre des activités se divisant principalement dans les pans sportifs, artistique et d'exploration.
Le nouveau pavillon 2, nommé à l'époque Pavillon des Sciences et du Centre de documentation, accueille ses premiers étudiants en septembre 1975. Il occupe une superficie presque équivalente à la somme de celle occupée par les pavillons 3, 4, 5 et 6. Ce bâtiment contient le Centre des médias (médiathèque du cégep) et accueille les départements des Sciences de la nature, des Techniques physiques et Techniques de la santé.
Le pavillon 3, qui fut le premier pavillon du campus Est, ouvre ses portes en septembre 1969. Il occupe alors les locaux de l'École normale Notre-Dame-du-Sacré-Cœur louée à la congrégation religieuse des Filles de la Charité du Sacré-Cœur de Jésus. Le 11 décembre 1981, la nouvelle appellation de l'amphithéâtre de ce pavillon est dévoilée : la Salle Alfred-Des Rochers, nommée en l'honneur du poète et journaliste sherbrookois du même nom. Il s'agit du pavillon des départements de Sciences humaines, d'Histoire et civilisation, de Technique d'éducation à l'enfance et spécialisée et de Musique.
Le pavillon 4 accueille les programmes des Arts et Lettres depuis 1970. En 1971, ses installations sont rénovées. Le bâtiment, construit en 1939, est à l'origine l'école primaire Saint-Sacrement.
Le pavillon 5, reçoit ses premiers étudiants en 1972. Il s'agit du pavillon de l'Administration et des Techniques informatique, bureautique, administrative et policière.
Le bâtiment appartient initialement au Sherbrooke Hospital et est racheté, en 1945, par les Filles de la Charité pour devenir le Collège du Sacré-Cœur, une école réservée aux filles. En 1969, le bâtiment est revendu au gouvernement québécois afin de devenir l'actuel pavillon 5 du Collège de Sherbrooke.
La résidence, initialement réservée aux filles, accueille ses premières occupantes en 1969. À partir de 1973, elle devient aussi accessible aux garçons. Un incendie s'y déclencha le 8 février 1977. Les résidents sont logés dans des familles et à l'hôtel pendant le nettoyage et la restauration des lieux. Le 5 janvier 1988, un second incendie survient. En raison de la superstition anglo-saxonne figurant le chiffre « 13 » comme signe de malchance, le treizième étage des résidences du cégep est identifié comme étant le quatorzième étage. Les étages inférieurs du pavillon accueillent quant à eux la cafétéria principale, les locaux de l'association étudiante ainsi que la librairie.
Des classes sont louées par le Cégep (hors campus) à cause du manque de locaux et un apport d'étudiants élevé.
Le pavillon 9, érigé en 2008, est constitué d'unités mobiles modulaires. Ces installations, temporaires, sont destinées à accueillir le surplus d'étudiants suite à l'importante hausse de la masse étudiante. Les étudiants du cégep ont humoristiquement surnommés ce pavillon « le Bunker » en raison de son revêtement gris et de ses formes rappelant une casemate d'avant-guerre, considérés comme peu esthétiques. En 2011, à l'arrivée à échéance du contrat, il est prévu que les unités modulaires soient désinstallées.
Suite au financement de 310 000 $ octroyé par le Ministère de l'Éducation, du Loisir et du Sport du Québec vers la fin de l'année 2008, le Cégep de Sherbrooke acquiert l'église Très-Saint-Sacrement, situé sur la rue Kennedy-Nord, afin d'en faire le pavillon 10. Il est prévu que ce pavillon abrite six salles de classes, des laboratoires informatiques et des aires communes.