Не во всех случаях на заданный вопрос может быть получен вполне определенный, категорический ответ. "Выживет ли этот больной?" - на такой вопрос врач иногда может отвечать только так: "Семьдесят шансов из ста - за, а тридцать - против". Поскольку более точный прогноз невозможен, приходится довольствоваться и таким: все-таки он дает некоторое представление 6 вероятности выздоровления. И если на следующий день врач скажет, что теперь уже за благоприятный исход 95 шансов из ста, родственники больного имеют все основания радоваться: состояние больного явным образом улучшилось.
Можно ли оценить количественно информацию, содержащуюся в таком "статистическом" ответе (статистика всегда указывает только вероятности тех или иных событий)?
Естественно считать, что в любом статистическом ответе меньше информации, чем во вполне определенном (категорическом) ответе на тот же самый вопрос. Ведь и после получения статистического ответа у нас еще остается потребность в получении некоторой дополнительной информации, уточняющей его.
Можно поэтому сказать, что статистический ответ содержит в себе столько же информации, сколько и категорический, за вычетом той неопределенности, которая еще остается у нас после получения статистического ответа.
Но как же можно измерить степень неопределенности? Поддается ли она количественному выражению? Одно из замечательных достижений кибернетики как раз и заключается в установлении такой меры.