Loi de probabilité - Définition

Maximum d'entropie

Les lois de probabilité usuelles sont souvent classées par familles dépendant d'un paramètre. La loi normale par exemple est paramétrée par sa moyenne et son écart type. La plupart des familles usuelles de lois de probabilités sont celles offrant le maximum d'entropie (l'entropie est une mesure de l'information moyenne d'une source, au sens de Claude Shannon, donc le plus d'information) sous contraintes, par exemple :

• La distribution uniforme est celle d'entropie maximale parmi les lois à support borné.
• La distribution normale est celle d'entropie maximale parmi toutes les lois possibles ayant même moyenne et même écart type.
• La distribution exponentielle est celle d'entropie maximale parmi les lois portées par et ayant la même moyenne.
• Les lois scalantes comme celle de Zipf ou de Mandelbrot sont d'entropie maximale parmi celles auxquelles on impose la valeur du logarithme d'une moyenne, c'est-à-dire un ordre de grandeur.

En quelque sorte, ces lois ne contiennent pas plus d'information que ce qui est obligatoire. Ce sont les moins prévenues de toutes les lois compatibles avec les observations ou les contraintes, et donc les seules admissibles objectivement comme distributions de probabilités a priori lorsque ces valeurs sont imposées et seules connues. Cette propriété joue un grand rôle dans les méthodes bayésiennes.