Depuis des millénaires, l'Homme a créé et utilisé des outils l'aidant à calculer (abaque, boulier...). Parmi les algorithmes les plus anciens, on compte des tables datant de l'époque d'Hammurabi (environ -1750). Les premières machines mécaniques apparaissent entre le XVIIe et le XVIIIe siècle. La première machine à calculer mécanique réalisant les quatre opérations aurait été celle de Wilhelm Schickard au XVIe siècle, mise au point notamment pour aider Kepler à établir les Tables rudolphines d'astronomie.
En 1642, Blaise Pascal réalisa également une machine à calculer mécanique qui fut pour sa part commercialisée et dont neuf exemplaires existent dans des musées comme celui des arts et métiers et dans des collections privées (IBM).[réf. souhaitée]
La découverte tardive de la machine d'Anticythère montre que les Grecs de l'Antiquité eux-mêmes avaient commencé à réaliser des mécanismes de calcul en dépit de leur réputation de mépris général pour la technique (démentie d'ailleurs dans le cas particulier des travaux militaires d'Archimède).
Cependant, il faudra attendre la définition du concept de programmation (illustrée en premier par Joseph Marie Jacquard avec ses métiers à tisser à cartes perforées, suivi de Boole et Ada Lovelace pour ce qui est d'une théorie de la programmation des opérations mathématiques) pour disposer d'une base permettant d'enchaîner des opérations élémentaires de manière automatique.
Une autre phase importante fut celle de la mécanographie, avec l'apparition des machines électromécaniques alimentées par cartes perforées de l'Américain Herman Hollerith, qui savaient tout faire sauf de la comptabilité en grandes entreprises (voir Gilbert Bitsch : Liste d'informaticiens et précurseurs de l'informatique), et les machines comptables à doubles entrées, inventées par Hollerith (voir l'autre aspect de la mécanographie) à la fin du XIXe siècle. Les trieuses et les tabulatrices furent utilisées à grande échelle pour la première fois par les Américains lors du recensement de 1890 aux États-Unis, suite à l'afflux des immigrants dans ce pays dans la seconde moitié du XIXe siècle.
La première entreprise européenne qui a développé et commercialisé des équipements mécanographiques a été créée par l'ingénieur norvégien Fredrik Rosing Bull dans les années 1930. F.R. Bull s'est installé en Suisse, avant de venir en France pour s'attaquer au marché français des équipements mécanographiques. Pendant la Seconde Guerre mondiale, René Carmille utilisait des machines mécanographiques Bull.
Les Allemands étaient équipés de machines mécanographiques déjà avant la Seconde Guerre mondiale. Ces équipements étaient installés par ateliers composés de trieuses, interclasseuses, perforatrices, tabulatrices et calculatrices connectées à des perforateurs de cartes. Les traitements étaient exécutés à partir de techniques électromécaniques utilisant aussi des lampes radio comme les triodes. La chaleur dégagée par ces lampes attirait les insectes, et les bugs (terme anglais pour insectes, parfois francisé en bogue) étaient une cause de panne courante. Ce n'est que suite à l'invention du transistor en 1947 et son industrialisation dans les années 1960, que les appareils informatiques ont pris leur forme finale, celle qu'ils ont encore aujourd'hui.
L'ère de l'informatique moderne commença durant la Seconde Guerre mondiale, avec l'invention du transistor, puis du circuit intégré quelques années plus tard. L'utilisation de ces composants électroniques à la place des relais électromécaniques et de tubes à vide ont permis de rendre les appareils à la fois plus petits, plus complexes, plus économiques et plus fiables.
Au même moment, le mathématicien Alan Turing théorise le premier ce qu'est un ordinateur, avec son concept de machine universelle de Turing.
Le domaine de l'informatique est donc un domaine récent, basé sur des sciences originaires de l'Antiquité (la cryptographie) et des expériences menées au XVIIe siècle, comme par exemple la machine à calculer de Blaise Pascal. Ce n'est qu'à la fin de la Seconde Guerre Mondiale que l'informatique a été reconnue comme un domaine scientifique et technologique à part entière.
La série de livres The Art of Computer Programming de Donald Knuth, sortie à partir des années 1960, fait ressortir les aspects mathématiques de la programmation informatique. Edsger Dijkstra, Niklaus Wirth et Christopher Strachey travaillent et publient dans le même sens.
On demandait à Donald Knuth dans les années 1980 s'il valait mieux selon lui rattacher l'informatique fondamentale au génie électrique — ce qui est souvent le cas dans les universités américaines — ou à un département de mathématiques. Il répondit : « Je la classerais volontiers entre la plomberie et le dépannage automobile » pour souligner le côté encore artisanal de cette jeune science. Toutefois, le fort caractère scientifique des trois premiers volumes de son encyclopédie suggère qu'il s'agit là d'une boutade de sa part.
La miniaturisation des composants et la réduction des coûts de production, associées à un besoin de plus en plus pressant de traitement des informations de toutes sortes (scientifiques, financières, commerciales, etc.) a entraîné une diffusion de l'informatique dans toutes les couches de l'économie comme de la vie de tous les jours.
Des études en psychologie cognitive et en ergonomie réalisées dans les années 1970 par Xerox sont à l'origine de l'usage des interfaces homme-machine graphique en vue de simplifier l'utilisation des outils informatiques.
La démocratisation de l'utilisation d'Internet - réseau basé sur ARPANET - depuis 1995, a amené les outils informatiques à être de plus en plus utilisés comme moyen de télécommunication, à la place des outils tels que la poste ou le téléphone.
En France, l'informatique a commencé à vraiment se développer seulement dans les années 1960, avec le Plan Calcul. Depuis lors, les gouvernements successifs ont mené des politiques diverses en faveur de la Recherche scientifique, l'Enseignement, la tutelle des Télécommunications, la nationalisation d'entreprises clés.