La découverte de l'île Jan Mayen est encore sujette à controverse. Le moine irlandais Brendan relate au VIe siècle qu'au cours d'un de ses voyages, il s'est approché d'une île noire crachant du feu dans un bruit assourdissant. Pensant avoir atteint les portes de l'Enfer, il n'y débarque pas. Jan Mayen étant une île volcanique, il est possible qu'il l'ait découverte au moment d'une éruption mais il n'y en a aucune preuve. Il est également possible que les Vikings aient connu l'existence de l'île Jan Mayen car ils étaient présents entre autres en Norvège, aux îles Féroé, en Islande et au Groenland.
L'île Jan Mayen est découverte avec certitude au début du XVIIe siècle par des baleiniers néerlandais et britanniques à la recherche de nouvelles zones de pêche. De nombreux navigateurs revendiquent alors cette découverte, dont l'anglais Henry Hudson qui aurait lui aussi approché l'île sans y accoster en 1607 et l'aurait baptisée Hudson's Tutches ou Touches. La première découverte incontestée est attribuée à l'explorateur néerlandais Jan Jacobs May van Schellinkhout qui visite l'île en 1614. Son cartographe la baptise Jan Mayen après avoir cartographié ses côtes, constituant ainsi la preuve la plus ancienne de la découverte de l'île Jan Mayen.
L'île Jan Mayen n'est alors revendiquée par aucune puissance mais sert de camp de base saisonnier durant deux périodes distinctes et de lieu d'étude scientifique durant la première année polaire internationale.
Ainsi, durant la première moitié du XVIIe siècle, des baleiniers établissent-ils sur l'île plusieurs fonderies d'huile alimentées à partir de la graisse de baleine. Jusqu'à mille baleiniers vivent alors sur l'île Jan Mayen en période estivale au plus fort de la chasse à la baleine dans ce secteur. L'huile de baleine étant à l'époque très convoitée, des systèmes de défense sont construits sur l'île afin de protéger cette denrée des pillages comme en attestent les deux canons retrouvés à la fin du XXe siècle. Un premier hivernage est tenté sur l'île en 1633 mais il échoue : aucun des sept hommes laissés sur l'île n'a survécu lorsque les pêcheurs reviennent l'année suivante. La surexploitation de la baleine boréale entraînant une baisse des populations dans ce secteur de l'océan Atlantique, l'île est peu à peu désertée entre 1640 et 1650 et ce pour les 230 années suivantes.
L'hiver 1882–1883 étant déclaré « première année polaire internationale », une équipe scientifique austro-hongroise choisit l'île Jan Mayen comme lieu d'étude en se basant à Maria Muschbukta, en français « Baie Maria Musch », inaugurant la vocation scientifique qui constitue la seule activité actuelle de l'île. Du 13 juillet 1882 au 6 août 1883, ils effectuent de nombreuses recherches comme des tests d'équipement et de matériel destiné aux futures expéditions polaires, des mesures de salinité et de température de la mer ainsi que du magnétisme, des collectes de plantes, d'animaux et de roches, produisent une cartographie de l'île qui sera utilisée jusque dans les années 1950 et effectuent le premier hivernage réussi sur l'île.
Au début du XXe siècle, les Norvégiens commencent à venir sur l'île Jan Mayen, y passant même des hivers, afin d'y pratiquer la chasse. Leurs proies favorites sont les renards polaires, très prisés pour leur fourrure, et parfois des ours blancs. La chasse intensive réduisant de manière drastique les populations de renard et par là même les profits générés par cette activité, les chasseurs, découragés par l'aspect stérile de Jan Mayen et la rudesse des conditions de vie, quittent l'île à la fin des années 1920.
Les besoins d'une station météorologique implantée sur le passage des perturbations atmosphériques venant du Groenland et du pôle Nord et se dirigeant vers la Norvège se fait sentir dès 1914 lorsque le professeur Kristian Birkeland d'Oslo réclame la construction d'une telle station sur l'île Jan Mayen. Malgré la mort de 125 chasseurs de phoques dans deux tempêtes survenues en 1917 et 1920, il faudra attendre l'été 1921 pour qu'une station météorologique, aujourd'hui appelée Eldstemetten, soit construite sur la côte Sud de l'île.
L'année suivante, l'Institut météorologique norvégien annexe l'île au profit de la Norvège afin d'y renforcer sa présence et un décret royal du 8 mai 1929 place l'île sous souveraineté norvégienne. Enfin, une loi du 27 février 1930 permet au Royaume de Norvège d'acheter l'île à différents propriétaires et de régler ainsi un litige sur la question de la propriété de l'île Jan Mayen.
La souveraineté norvégienne sur l'île Jan Mayen n'a pas connu d'interruption depuis 1921 même durant la Seconde Guerre mondiale. Les Allemands envahissant et occupant la quasi totalité de la Norvège à partir du 9 avril 1940, la famille royale norvégienne s'exile et organise une résistance. Le roi Haakon VII se préoccupe de la défense des rares territoires de son royaume encore libres dont l'île Jan Mayen où il envoie en 1941 un contingent militaire composé de quelques soldats ainsi qu'une nouvelle équipe scientifique afin d'y installer une présence norvégienne capable de repousser d'éventuelles tentatives d'invasions allemandes. L'équipe scientifique, qui avait déserté et incendié la station météorologique d’Eldstemetten en 1940 afin qu'elle ne tombe pas aux mains des Allemands, en reconstruit alors une nouvelle à proximité de la garnison militaire, au pied du Beerenberg.
Cette nouvelle station fonctionne tout au long de la guerre malgré des bombardements aériens allemands. Durant ces attaques qui ne font aucun dégât, deux avions allemands s'écrasent sur l'île dont un quadrimoteur avec neuf membres d'équipage à son bord qui heurte le Beerenberg à proximité du campement norvégien en 1942. En 1950, des géologues britanniques retrouvent les débris de l'autre avion avec à son bord les restes des quatre membres d'équipage. Ceux-ci, ainsi que ceux du quadrimoteur, sont rapatriés au cimetière militaire de Narvik en 1959.
En 1943, les Américains sont autorisés à construire une station de radionavigation sur l'île Jan Mayen qu'ils installent en deux campements sur la côte Nord et Ouest et qu'ils baptisent Atlantic City. Cette station a pour principal objectif de localiser les stations météorologiques et radios allemandes installées au Groenland.
À la fin de la Seconde Guerre mondiale, les météorologues norvégiens utilisent le campement Ouest de la station d'Atlantic City désertée par les Américains pour leurs prévisions jusqu'à ce qu'une nouvelle station appelée Gamlemetten soit construite non loin en 1949. Durant les dix années suivantes, la seule activité sur l'île se résume à des mesures météorologiques et des lâchers de ballons-sondes. La station est aussi équipée d'une radio permettant de relayer les messages entre la Norvège continentale et les bateaux croisant à proximité de l'île Jan Mayen. Cette radio permet ainsi de sécuriser le secteur pour les bateaux de pêche et les baleiniers qui sont assurés de voir leurs éventuels appels de détresse entendus.
L'activité sur l'île Jan Mayen se diversifie sous l'impulsion de l'OTAN lorsqu'une station de radionavigation du réseau LORAN-C est installée sur l'île en 1959 avec l'érection d'une antenne haubanée à ondes longues de 190 mètres de hauteur. Cette station, placée sous la responsabilité de l'Administration norvégienne de communication et de défense ou NORECA, est reliée à celles d'Islande, des îles Féroé, de la Norvège continentale et d'Allemagne. À cette occasion, un nouveau site est aménagé sur la côte Sud-Est de l'île : des logements, des lieux de vie, des locaux techniques et une station énergétique sont construits et l'ensemble est baptisé Olonkinbyen, en anglais Olonkin City, en l'honneur de l'un des vétérans de l'île Jan Mayen. L'année suivante, un nouvel émetteur est adjoint au premier ce qui nécessite de nouveaux travaux. La construction d' Olonkinbyen n'ayant pas été aisée en l'absence de port, une piste d'atterrissage est construite sur l'isthme de l'île. Cette piste permet à l'avion de devenir le principal moyen de transport reliant l'île Jan Mayen au reste du monde par le biais d'une douzaine de rotations par an, le premier atterrissage s'étant effectué en 1961. Désormais, seul le ravitaillement en carburant et en matériels ne pouvant être transportés par les airs continue de se faire par bateau en été.
Depuis le déménagement de la station météorologique, baptisée Metten, à proximité de la piste d'atterrissage en 1962, les implantations et les activités humaines se concentrent sur une zone côtière de cinq kilomètres de longueur sur la côte sud-est de l'île.
Malgré la guerre froide et la position stratégique de l'île Jan Mayen située sur une des routes maritimes reliant l'océan Atlantique Nord à l'océan Arctique, la station LORAN-C constituera la seule construction de l'OTAN sur l'île qui n'abritera jamais d'installations militaires. En effet, des bases de l'OTAN existent déjà dans les territoires environnants comme le Groenland, l'Islande ou la Norvège et l'île est en retrait du détroit de Danemark, maillon du GIUK, ce qui n'y permet pas le développement du SOSUS. À partir du début des années 1980, des accords maritimes sont fixés avec les territoires voisins : exploitation des ressources maritimes avec l'Islande le 22 octobre 1981, établissement de la frontière maritime avec le Groenland le 14 juin 1993 et en juillet 1994.