Le savant allemand Clemens Winkler a découvert le germanium le 6 février 1886. Winkler l'a isolé et identifié à partir du minéral argyrodite provenant de la mine d'argent Himmelsfürst près de Freiberg (Saxe).
En 1871, Dmitri Mendeleïev avait prévu son existence (il appela cet élément inconnu « ékasilicium Es ») et quelques-unes de ses propriétés en se fondant sur sa position sur son tableau périodique.
L'origine de son nom résulte d'une méprise sémantique. Winkler avait cru que l'élément précédent, le gallium, avait été ainsi nommé en raison de la nationalité du chimiste français Paul-Émile Lecoq de Boisbaudran (Gallia, Gaule, en latin), son découvreur. Il baptisa donc le nouvel élément chimique « germanium » en l'honneur de son pays (Germania, Allemagne, en latin). Cependant, Winkler s'était trompé : le nom « gallium » ne dérive pas de Gallia mais de gallus (coq, en latin), nom latinisé du chimiste homonyme.
L'effet transistor a été observé en 1948 dans du germanium. Il a servi de substrat semi-conducteur jusqu'à ce que le silicium prenne sa place, vers les années 1970. Aujourd'hui, il n'est plus utilisé que dans le domaine des hautes fréquences, pour la réalisation de diodes à faible chute (0,3 V environ, application en détection) du poste à diode et dans les cellules photovoltaïques multi-jonction pour utilisations spatiale et, plus récemment, terrestre sous forte concentration. Dans le domaine de la recherche, on le trouve également à l'état d'alliage ou de multicouches avec le silicium (SiGe). À l'origine, les motivations de son dépôt en alternance avec le Si reposaient sur la possibilité de rendre la bande interdite du Si et du Ge directe. Cette propriété étant importante pour les applications opto-électroniques. Les transistors SiGe sont couramment utilisés dans le domaine des hyperfréquences en amplification faibles signaux (facteur de bruit faible).
Sa deuxième utilisation se trouve dans les verres, grâce à sa transparence à l'infrarouge. La structure du germanium ne peut être détruite par le rayonnement neutronique, comme pour l'acier.
Des transistors au germanium sont encore employés de nos jours comme composants principaux de certaines pédales d'effet pour guitare électrique, dites « fuzz », pour leur sonorité particulière et très appréciée des amateurs de sons « 70's ».
En 2007, les applications principales étaient la fabrication de fibres optiques (35 %), l'optique dans le domaine de l'infrarouge (20 %), les catalyseurs (20 %), l'électronique (15 %) et certains types de cellules photovoltaïques.
Dans les années 1980, le germanium était considéré comme l'une des huit matières premières stratégiques indispensables en temps de guerre comme en temps de paix.
Selon une poignée de médecins, le germanium pourrait guérir les cancers et le sida. La FNCLCC rappelle pour sa part que « […] le germanium a des effets toxiques graves sur les nerfs et surtout les reins, certains ayant entraîné la mort par insuffisance rénale. C’est donc un produit inactif et toxique. »
Il est principalement contenu dans l'ail (754 mg·kg-1), les grosses racines de ginseng de Corée (jusqu'à 4 000 mg·kg-1), les champignons du genre Ganoderma (Ling Shing) qui en contiennent jusqu'à 2,5 mg·kg-1, l'algue Chlorella et dans la boisson traditionnelle kombucha.