6-3. Понятие энтропии

Количество информации на один символ сообщения носит название энтропии

Энтропия характеризует данный ансамбль сообщений с заданным алфавитом и является мерой неопределенности, которая имеется в ансамбле сообщений. Действительно, длина сообщения n имеет в известном смысле второстепенный характер: можно посылать длинные или короткие телеграммы, сочинять длинные или короткие стихотворные произведения, писать маленькие или большие полотна. Главное - определить, узнать статистические свойства данного ансамбля сообщений независимо от длины сообщения. Например, интересно узнать статистические особенности ансамбля стихотворных произведений Лермонтова, музыкальных произведений Бетховена. Одним из таких параметров, которые характеризуют свойства ансамбля сообщений, и является энтропия.

Можно говорить об энтропии не на отдельный символ, а на n символов, где n=const для всех сообщений. В этом случае, очевидно, что понятия энтропии и количества информации совпадают. Чем больше энтропия, тем больше информации несет в себе сообщение.