L'Andalousie présente un relief très contrasté, marqué par trois grandes unités qui structurent le territoire de la communauté autonome : la Sierra Morena au nord, les cordillères bétiques qui occupent le tiers sud-oriental et la dépression du Guadalquivir qui sépare ces deux systèmes montagneux en traversant l'Andalousie du nord-est au sud-ouest où la dépression s'élargit considérablement. Cette ordonnancement géographique en trois bandes parallèles définit une grande variété de régions naturelles et autant de paysages.
Le Guadalquivir marque une rupture nette entre l'Andalousie orientale, au relief accidenté de montagnes et de hauts plateaux, et l'Andalousie occidentale, de basse altitude, dominée par la plaine du grand fleuve. Néanmoins, plus du tiers du territoire de la communauté est situé à plus de 600 mètres d'altitude, plus d'un millier de sommets dépassant les 1000 mètres d'altitude.
La Sierra Morena occupe l'extrémité septentrionale de l'Andalousie. Elle forme le rebord méridional de la Meseta castillane (massif hespérique), qu'elle sépare de l'Andalousie, et marque la frontière entre le bassin du Guadiana au nord et celui du Guadalquivir au sud. Elle parcourt d'ouest et est la communauté et occupe le nord des provinces de Huelva, Séville, Cordoue et Jaén. C'est dans cette dernière province que se trouve la seule voie d'accès naturelle à l'Andalousie depuis le nord : le défilé de Despeñaperros, dans la Sierra de Andújar.
Il s'agit de massifs de moyenne altitude dont les sommets ne dépassent jamais 1400 mètres, et présente un relief plus suave et moins accidenté que les cordillères bétiques. La Sierra Morena est une chaîne rectiligne, entaillée, notamment dans sa partie centrale, par l'érosion, qui a creusé de larges vallées, comme celle de Los Pedroches (province de Cordoue). Elle se compose de plusieurs sous-ensembles : Sierra de Aracena (province de Huelva), Sierra de Sevilla (province de Séville), Sierra de Hornachuelos, Sierra de los Santos et Sierra de Cardeña y Montoro (province de Cordoue) et Sierra de Andújar (province de Jaén).
Plus à l'est dans la province de Jaén se trouve la Sierra de Segura, qui n'appartient pas à la Sierra Morena, mais constitue un sous-ensemble du système pré-bétique .
Les systèmes - ou cordillères - bétiques occupent la moitié sud-orientale de l'Andalousie, et s'étendent entre la vallée du Guadalquivir, au nord, et la côte méditerranéenne au sud. Ils constituent, de par leur altitude, l'ensemble montagneux le plus important de la communauté et d'Espagne. S'étalant, sur le territoire andalou, sur la totalité des provinces de Grenada, Málaga et Almería, le sud et l'est de la province de Jaén, l'extrémité sud de celle de Cordoue et la frange orientale de la province de Cadix, les cordillères se prolongent ensuite vers le nord-est pour rejoindre le système ibérique et les Baléares.
Elles se présentent sous un aspect confus de vallées et de massifs montagneux entrelacés, dominés par la Sierra Nevada, où se dressent les plus hauts sommets espagnols : le Mulhacén (3481 mètres d'altitude) et le Veleta (3392 mètres). Leur physionomie complexe permet toutefois de distinguer trois grands ensembles parallèles orientés d'ouest en est : la cordillère subbétique (cordillera subbética) au nord, la cordillère pénibétique (cordillera penibética) au sud, et la dépression - ou sillon - intrabétique (surco intrabético).
La Cordillère subbétique s'étend du nord-est de l'Andalousie, jusqu'au sud-ouest et traverse le sud des provinces de Jaén et de Cordoue, le nord de la province d'Almería, et les provinces de Grenade et de Málaga. Ses contreforts parviennent jusqu'à l'extrémité orientale de la province de Séville (comarque de la Sierra Sur, autour d'Estepa). Elle consiste en une série de plissements calcaires au relief plutôt suave. Elle est composée d'un grand nombre de massifs plus ou moins importants tels que la Sierra Blanquilla, la Sierra de Grazalema, la Sierra de Gibalbín (province de Cadix), Sierras Subbéticas de Córdoba (province de Cordoue), la Sierra Elvira, la Sierra Mágina (province de Jaén), la Sierra de la Pandera, la Sierra Arana, la Sierra de Huétor ou encore la Sierra de Loja (province de Grenade). Cette dernière est en contact avec la cordillère pénibétique. Elle se prolonge ensuite plus à l'est par la Sierra de la Pila, la Sierra de la Lavia et la Sierra de Ponce, dans la Région de Murcie. Elle est précédée au nord-est par le petit système prébétique, à cheval sur les provinces de Jaén, Grenade, Almería et Alicante (Communauté valencienne). Il se compose de plusieurs petites chaînes orientées nord-sud : la Sierra de Cazorla et la Sierra de Segura dans la province de Jaén, la Sierra de María dans la province d'Almería, la Sierra de Castril et la Sierra de la Sagra (la plus élevée) dans la province de Grenade.
La Cordillère pénibétique est située plus au sud, parallèlement à la mer Méditerranée, depuis l'extrémité sud-orientale de la province de Cadix à la Région de Murcie. C'est sur cette chaîne de montagnes que se dressent les plus hauts sommets andalous et espagnols. Il s'agit d'un socle métamorphique au relief fracturé, composé d'une succession de massifs au relief plus accidenté et à l'altitude plus élevée que dans la cordillère subbétique. Le plus important de ces massifs est la Sierra Nevada, qui s'étend au sud de la province de Grenade et en partie sur celle d'Almería. Vingt-quatre sommets ou pics dépassent les 3 000 mètres d'altitude, notamment le Mulhacén, point culminant du pays. Autour de la Sierra Nevada existent de nombreuses autres chaines montagneuses : Serranía de Ronda, Sierra de Tejeda et Sierra de Almijara dans la province de Málaga, Sierra de Alhama, Sierra de la Contraviesa et Sierra de Baza dans la province de Grenade, Sierra de Gádor, Sierra de las Estancias et Sierra de los Filabres dans la province d'Almería. Entre la Sierra Nevada, au nord, et les Sierras de Gádor et de la Contraviesa au sud, s'étendent les Alpujarras, une région de vallées isolées à cheval sur les provinces de Grenade et d'Almería, qui forment encore un cadre préservé recherché.
La dépression intrabétique (ou sillon intrabétique) est une série de dépressions qui affectent les systèmes bétiques entre les deux cordillères précédemment évoquées, qu'elle sépare sous la forme d'un couloir. Il s'agit d'un ensemble de petites dépressions discontinues qui s'étendent d'ouest en est parallèlement à la côte : les dépressions de Ronda (rattachée à la cordillère pénibétique), Antequera (reliée à la dépression du Guadalquivir, elle est un ancien golfe de la mer qui occupait autrefois la plaine du grand fleuve), Grenade, ainsi que les fossés ou cuvettes (hoyas) de Guadix, Baza et Huéscar (rattachés à la cordillère subbétique). La dépression intrabétique se présente sous la forme d'une succession de plaines aux sols marneux et argileux, très fertiles. Au fond de la dépression de Grenade se trouve ainsi la fameuse Vega, exploitée depuis des siècles pour la qualité de ses sols.
La dépression - ou vallée - du Guadalquivir est l'épine dorsale de l'Andalousie. Séparant la Sierra Morena des cordillères bétiques, elle s'étend depuis la source du fleuve, dans la Sierra de Cazorla, puis s'élargit peu à peu en suivant le cours du fleuve, qui file vers le sud-ouest. Elle affecte les provinces de Jaén, Cordoue, Séville, Cadix et Huelva.
La vallée est apparue après l'orogenèse alpine. En raison de sa situation entre deux chaînes montagneuses, elle s'est progressivement remplie de dépôts alluvionnaires marneux et argileux, provenant de l'érosion des massifs.
À l'est, dans la province de Jaén, la dépression s'établit sur des reliefs de collines d'altitude (Loma de Úbeda), avant de redescendre vers des zones moins élevées en avançant vers Cordoue, où les paysages de la vallée sont marqués par la présence de douces collines ondulées. La dépression s'élargit au rythme de sa progression, pour former de vastes plaines, ponctuées à l'est de Séville de quelques affleurements calcaires appelés alcores. La vallée du Guadalquivir forme dans ces plaines un ensemble de terres très fertiles, exploitées depuis des millénaires. Plus au sud, la dépression s'élargit considérablement, et dessine de vastes marais, la marisma établis sur une plaine alluvionnaire fluviomarine pas encore colmatée.
L'Andalousie est baignée par l'Océan Atlantique, depuis la frontière portugaise au Détroit de Gibraltar, et par la Mer Méditerranée depuis le détroit jusqu'à la frontière murcienne. Elle est bordée par 864 kilomètres de côtes, largement surexploitées, plus particulièrement sur le versant méditerranéen.
Bordant la province de Huelva et une grande partie de celle de Cadix, la côte atlantique - appelée ici Costa de la Luz (côte de la lumière) - est basse et sableuse, elle ne possède aucun relief escarpé, et très peu de roches, les montagnes (Aracena, Grazalema, Blanquilla) se trouvant souvent éloignées de la côte. En revanche, cette configuration offre d'immenses plages de sable fin, moins exploitées que sur la côte méditerranéenne. La composition sableuse des côtes a entraîné la formation de nombreux sites naturels de grande valeur. Outre les dunes, très présentes sur le littoral de Huelva, de nombreuses lagunes se succèdent le long du cordon littoral gaditan. Par ailleurs, les estuaires du Guadiana, de l'Odiel, du Río Tinto et surtout du Guadalquivir sont occupée par de gigantesques marais (marismas). Les marais du Guadalquivir sont en grande partie classés au sein du parc naturel et surtout du parc national de Doñana.
Le littoral méditerranéen est nettement plus rocheux, en raison de la proximité de la cordillère pénibétique. Les falaises escarpées où se lotissent d'innombrables criques alternent avec de des plages de sable moins longues et moins ouvertes que sur l'Atlantique, souvent bétonnées. La région constitue en effet un des hauts-lieux du tourisme de masse espagnol, dont la station balnéaire de Torremolinos est le symbole. D'autres villes, telle Marbella, ont opté pour un tourisme plus luxueux. Quatre côtes, correspondant à autant de provinces, se succèdent d'ouest en est : la Costa gaditana (côte gaditane), sur le littoral méditerranéen de la province de Cadix (d'Algésiras à San Roque), la Costa del Sol (côte du soleil) dans la province de Málaga, la Costa tropical (côte tropicale) dans la province de Grenade et la Costa de Almería (côte d'Almería) dans la province homonyme. Une grande partie de la côte d'Almería, autour du Cabo de Gata, est classé parc naturel.