Un rootkit (en français : « outil de dissimulation d'activité »), parfois simplement « kit », est un ensemble de techniques mises en œuvre par un ou plusieurs logiciels, dont le but est d'obtenir et de pérenniser un accès (généralement non autorisé) à un ordinateur de la manière la plus furtive possible, à la différence des autres logiciels malveillants. Le terme peut désigner la technique de dissimulation ou, par métonymie, un ensemble particulier d'objets informatiques mettant en œuvre cette technique.
Leur furtivité est assurée par plusieurs mécanismes de dissimulation () : effacement de traces, masquage de l'activité et des communications, etc. Un rootkit peut s'installer dans un autre logiciel, une bibliothèque ou dans le noyau d'un système d'exploitation. Certains peuvent modifier l'hyperviseur fonctionnant au-dessus des systèmes, ou le micrologiciel intégré dans un matériel. La plupart des rootkits servent à installer des logiciels malveillants sur les machines où l'accès est obtenu. Certains fournisseurs de matériels informatiques, tel Sony, les utilisent pour s'assurer du respect des conditions d'utilisation de leurs produits par leurs clients. Certains kits ne jouent pas sur la discrétion mais sur le fait qu'enlever le kit serait une opération ardue.
Pour l'« attaquant », l'utilité d'un rootkit est soit de mettre à disposition des ressources système (temps processeur, connections réseaux, etc.) sur une, voire plusieurs machines (), parfois en utilisant la « cible » comme intermédiaire pour une autre attaque ; soit d'espionner, d'accéder aux données stockées ou en transit sur la machine cible.
Ils sont généralement classés parmi les logiciels malveillants, mais pas toujours ; ils peuvent utiliser des « techniques virales » pour se transmettre (par exemple, en utilisant un virus ou un cheval de Troie). Il existe des outils de détection et des méthodes de protection pour les contrer mais elles ne sont pas absolument efficaces.
Dès 1989 sont apparus des programmes manipulant les logs système (« journaux des opérations », sorte de livre de bord où sont enregistrés les informations concernant l'état et l'activité d'un ordinateur) pour cacher leur présence. D'autres programmes permettaient de se dissimuler en manipulant les outils servant à vérifier les informations sur les utilisateurs, telles que les commandes who, w, ou last, et ainsi paraître invisibles pour les administrateurs des machines.
Les premiers rootkits sont apparus en 1994 sur Linux et SunOS ; en 1998 sous Windows, avec le célèbre Back Orifice () ; et en 2004 apparaissait le premier rootkit sous Mac OS X, WeaponX.
Les analyses et les recherches sur les rootkits ont commencé dès 1997, avec la publication par le webzine Phrack d'un cheval de Troie détournant une partie du noyau Linux (le LKM, qui permet d'ajouter des modules au noyau pendant son fonctionnement) et ouvrant la porte aux techniques des rootkits actuels. Depuis, de nombreuses recherches et analyses ont été conduites : Phrack et plusieurs autres sites web publient régulièrement des travaux sur les rootkits. Certains projets se sont spécialisés dans ce domaine, comme chkrootkit initié en 1997, dédié au développement d’un outil de détection de rootkits pour les plateformes Linux, *BSD, Solaris et HP-UX.
La mise au jour de rootkits passe par leur publication, ou se fait grâce aux honeypots (en français « pots de miel »), des machines sciemment vulnérables utilisées par les professionnels de la sécurité pour analyser le mode opératoire d'un attaquant. Les résultats obtenus sont régulièrement évoqués lors de conférences sur la sécurité, comme la conférence Black Hat.
Certains rootkits peuvent être légitimes, pour permettre aux administrateurs de reprendre le contrôle d'une machine défaillante, pour suivre un ordinateur volé, ou dans certains outils comme des émulateur de disque (DAEMON Tools, Alcohol 120%). Mais le terme a perdu ce sens historique et évoque essentiellement des outils à finalité malveillante.