Глава шестая. Количество информации и энтропия сообщений

В классической теории информации известно по крайней мере два определения количества информации. Оба определения очень близки между собой, принципиальное различие между ними появляется лишь при попытке ввести смысловое содержание информации. Первое определение (по Хартли) использует комбинаторный подход, второе (по Шеннону) распространяет на передачу и переработку информации вероятностную точку зрения. Чем больше неопределенности в принятом сообщении, тем больше информации в нем содержится. Поэтому количество информации определяют следующим образом:

Если шумы отсутствуют, то можно считать, что вероятность данного события после поступления на вход приемника сообщения о нем равна единице, т. е.

За основание логарифма принимают чаще всего цифру 2, но иногда используются также десятичный и натуральный логарифмы [Л. 47, 48, 50-54].

Для измерения количества информации введена специальная единица измерения, которая называется бит (bit) информации. Количество информации Iв битах равно правой части приведенных выше равенств. Так, при наличии двух равновероятных событий в отсутствие шумов