Le mot tenseur est issu de l'anglais d'origine latine tensor, mot introduit en 1846 par William Rowan Hamilton pour décrire la norme dans un système algébrique (finalement nommé algèbre de Clifford). Le mot a été utilisé avec son sens actuel par Woldemar Voigt en 1899.
Le calcul différentiel tensoriel a été développé vers 1890 sous le nom de calcul différentiel absolu, et fut rendu accessible à beaucoup de mathématiciens par la publication par Tullio Levi-Civita 1900 du texte classique de même nom (en italien, suivi de traductions). Au XXe siècle, le sujet devient connu sous le nom de analyse tensorielle, et acquiert une reconnaissance plus large avec l'introduction de la théorie de la relativité générale d'Albert Einstein, autour de 1915.
La relativité générale est complètement formulée dans le langage des tenseurs. Einstein a appris à les utiliser, avec quelque difficulté, du géomètre Marcel Grossmann ou peut-être de Levi-Civita lui-même. On utilise également les tenseurs dans d'autres domaines, comme par exemple la mécanique des milieux continus.
En physique, un exemple simple : considérons un bateau flottant sur l'eau. On veut décrire l'effet de l'application d'une force sur le déplacement du centre du bateau dans le plan horizontal. La force appliquée peut être modélisée par un vecteur, et l'accélération que subira le bateau par un autre vecteur. Ces deux vecteurs sont horizontaux. Mais leurs directions, qui devraient être identiques pour un objet de forme ronde, ne le sont plus pour un bateau, qui est plus allongé dans un sens que dans l'autre. La relation entre les deux vecteurs, qui n'est donc pas une relation de proportionnalité, est cependant une relation linéaire, au moins si on considère une force petite. Une telle relation peut être décrite en utilisant un tenseur de type (1,1) (1 fois contravariant, 1 fois covariant) (c'est-à-dire qu'ici il transforme un vecteur du plan en un autre vecteur du plan). Ce tenseur peut être représenté par une matrice (= tableau de nombres), qui, lorsqu'on la multiplie par un vecteur, donne un autre vecteur. De la même manière que les nombres qui représentent un vecteur changent quand on change de système de coordonnées, les nombres qui représentent le tenseur dans la matrice changent quand le système de coordonnées change.
En sciences de l'ingénieur, on peut également décrire les tensions, les forces intérieures subies par un solide ou un fluide par un tenseur. Le mot tenseur vient effectivement du verbe tendre, qui signifie soumettre à une tension. Considérons un élément de surface à l'intérieur du matériau ; les parties du matériau situées d'un côté de la surface exercent une force sur l'autre côté de la surface (et réciproquement). En général, cette force n'est pas orthogonale à la surface, mais dépendra linéairement de l'orientation de la surface. Nous pouvons la décrire par un tenseur d'élasticité linéaire, tenseur de type (2,0) (2 fois contravariant, 0 fois covariant), ou plus précisément, par un champ de tenseurs de type (2,0), puisque les forces de tension varient de point à point.
Les formes bilinéaires telles le tenseur métrique ou le tenseur de courbure sont des exemples bien connus de tenseurs en géométrie différentielle.
Formellement, le type de tenseur dépend de la manière dont il est défini en termes de produit tensoriel. Par exemple, un tenseur d'ordre 3 pourrait avoir les dimensions 2, 5, 7. Ici les indices vont de 1, 1, 1 jusqu'à 2, 5, 7 ; donc le tenseur aura une valeur à 1, 1, 1, une autre à 1, 1, 2 et ainsi de suite pour un total de 70 valeurs. On peut écrire ce tenseur comme une suite de nombres rangés dans une matrice tridimensionnelle de taille 2*5*7. Le produit des dimensions de la matrice est alors équivalent à l'ordre du tenseur.
Un champ de tenseur associe un tenseur à chaque point d'une variété. Ainsi, au lieu de simplement avoir 70 valeurs, comme dans l'exemple ci-dessus, pour un tenseur de rang 3, et de dimensions 2, 5, 7 ; chaque point de l'espace serait associé à 70 valeurs. En d'autres mots, un champ de tenseur est une fonction à valeur tensorielle qui a pour domaine, par exemple, l'espace euclidien.