[Paul Kellerman]

Согласно формуле Больцмана: S = k * ln (W), где k - постоянная Больцмана, S -
энтропия, W то, что очень неудачно называют термодинамической вероятностью.

Проведем аналогию с информационной энтропией H = -K*sum(p[i]*(log p[i]), i = 1...N)
где K - некоторая константа, p[i] - вероятность появления того или иного символа,
N - кол-во различных символов в алфавите символов, то есть мощность алфавита.
Если вероятности появления для всех символов одинакова и равна 1 / N, то тогда:

H = -K*N*(1/N)*log(1/N) = K * log(N). Поразительно сходство с формулой Больцмана.

Таким образом, величине W в формуле Больцмана соответствует величина N в фор-
муле для информационной энтропии, причем величина N - обратна мат.вероятности.