Le babouin olive est présent sur un ensemble de 25 pays africains. Les limites exactes de cette zone sont un peu floues, les territoires des différentes espèces de babouins se superposant. Dans plusieurs cas, il en a résulté des croisements inter-espèces. Par exemple, le babouin olive se croise fréquemment avec le babouin hamadryas en Ethyopie, mais également parfois avec le babouin jaune et le babouin de Guinée. Bien qu’ils aient été observés, ces croisements n’ont jamais été étudiés en détails.
Au sein de sa répartition géographique étendue, le babouin olive peut être rencontré dans différents habitats. Il est généralement connu comme un singe des savanes, vivant dans les larges étendues de prairies. Ces dernières, spécialement celles situées à proximité de bois clairsemés, représentent une grande partie de son habitat, bien que le babouin vive également dans les jungles ou les déserts. Par exemple, en Ouganda ou en république démocratique du Congo, on peut trouver des populations de babouins olives vivant dans des forêts tropicales denses.
Le babouin olive vit en groupe de 15 à 150 individus, composés de quelques mâles, de femelles et de leurs petits. Il y a une hiérarchie sociale complète similaire à celle que l’on peut trouver chez d’autres primates tels que les gorilles ou les chimpanzés. Chaque babouin a un rang social dans le groupe dépendant de son degré de dominance. Chez les femelles, la dominance est héréditaire, les filles atteignant un rang proche de celui de leur mère. Les mâles doivent quant à eux établir leur dominance de manière plus brutale. Ils doivent essayer d’intimider les autres mâles et de les réduire à l’obéissance. Les combats ne sont pas rares entre les mâles, les perdants devant par la suite se soumettre aux vainqueurs.
Un rang social supérieur signifie un accès privilégié à la reproduction et à la nourriture, c’est pourquoi il y a naturellement un grand intérêt à lutter pour monter dans la hiérarchie, avec des jeunes mâles qui tentent constamment de gravir les échelons. Du fait que les femelles restent dans leur groupe leur vie entière alors que les mâles seront amenés à émigrer dans d’autres, il y a souvent un nouveau mâle défiant un plus vieux pour la dominance. Fréquemment, quand les plus vieux babouins chutent dans la hiérarchie, ils émigrent dans une autre tribu. En effet, il a été montré que les jeunes mâles qui les ont vaincus ont souvent tendance à les tyranniser par la suite.
Les femelles atteignent la maturité sexuelle entre 7 et 8 ans et les mâles entre 7 et 10 ans. Le début de l’ovulation chez la femelle signale au mâle qu’elle est prête pour l’accouplement. Pendant l’ovulation, la vulve des femelles gonfle et devient rouge vif. Le gonflement rend ses mouvements difficiles et augmente les risques d’infection ou de parasitisme. Cela attire également les mâles qui se battent entre eux pour définir lequel pourra s’accoupler avec la femelle, les mâles les plus dominants ayant de plus grandes chances d’y parvenir puisqu’ils peuvent tenir les autres mâles à l’écart. La gestation dure 6 mois, chaque portée comptant un seul petit.
Certaines observations laissent suggérer qu’en Érythrée le babouin olive a formé une relation symbiotique avec la population menacée d’éléphants de ce pays. Les babouins s’abreuvent dans les trous d’eau creusés par les éléphants tandis que ces derniers utilisent les babouins perchés à la pointe des arbres comme un système d’alarme pour les avertir d’éventuels dangers.