Информацию измеряют битами. Какова величина информации в один бит?

Нередко в разговоре употребляют количественную меру информации, часто не понимая ее: "В его докладе ни бита (ни грамма) полезной информации", "Я устал от разговора с ним, он вылил на меня ушат ненужных мне, отрицательных битов информации". В литературе появился термин "мегабитовая бомба", то есть бомба в миллион бит информации. Ее взрыв и есть тот "информационный взрыв", в котором якобы может погибнуть человечество. Но что же такое один бит информации, что это за единица измерения?

Я наконец получил отпуск и, удирая от московской суеты, городского смрада и телефонных трелей, мчусь на машине к морю. Подъезжаю к развилке. Оба рукава сверкают асфальтом и оба наезжены. Какой ведет к морю? Ищу ответ в надписях на столбах: "Водитель, береги дорожный знак, он твой друг" (я только на это и надеюсь!), "Останавливайся только на обочине" (эту заповедь я уже выполнил), "Физкультура укрепляет здоровье военнослужащего" (почему только его?). Надписи все. Они не помогли мне сделать выбор одной из двух дорог. Полученная информация равна нулю. Но вот мчится машина. Кричу во все горло:

- Какая ведет к морю?

- Правая, только правая.

Полученная информация позволяет сделать правильный выбор из двух вариантов, из двух возможных исходов.

Математики и физики сошлись на том, что за единицу информации и удобно и логично принять такую дозу информации, которая уменьшает наше незнание в каком-то вопросе вдвое, позволяющая сделать выбор из двух равноправных возможностей. При этом, конечно, игнорируется значимость этого выбора.

Вот еще несколько примеров получения информации, равной единице.

- В каком полушарии находится самая высокая горная вершина?

- В северном.

- В какой половине года планировать вам отпуск?

- В первой.

Студент в растерянности: долг обязывает идти на лекцию, неутоленная жажда приключений зовет в кино на новый детектив. Как сделать выбор из двух возможностей? Бросается монета. Ура! Детектив.

Во всех приведенных случаях количество получаемой информации равно одному биту (единице).

Перейдем теперь к более сложному случаю: к выбору из четырех возможных исходов. Так, если понадобилось планировать отпуск с точностью до квартала, то в последнем примере надо задать еще один вопрос.

- В каком квартале первого полугодия?

- Во втором.

Еще один пример. Ваш приятель спрятал под одной из четырех пиал монету. Как с помощью только двух заданных ему вопросов, с ответами только "да" или "нет", найти ее?

- Монета находится под первой или второй пиалой?

- Нет.

- Монета находится под четвертой пиалой?

- Нет.

Монета найдена, она под третьей пиалой.

Из примеров следует, что при выборе из четырех равноправных исходов уже нужна не одна, а две единицы информации.

Если бы мы запрятали монету под восемь пиал, то для отгадки понадобилось бы не две, а три единицы информации. После первого вопроса: где монета - в первых четырех или в последующих четырех пиалах? - мы пришли бы к ситуации с четырьмя пиалами. Следовательно, нахождение монеты при восьми вариантах требует трех единиц информации. Не рискуя дальше наращивать число пиал (мне и так дома достается за битье посуды), прошу читателя поверить такой табличке:

Выбор из двух - одна единица информации

Выбор из четырех - две единицы информации

Выбор из восьми - три единицы информации

Выбор из шестнадцати - четыре единицы информации

Выбор из тридцати двух - пять единиц информации

Выбор из шестидесяти четырех - шесть единиц информации

и так далее.

Из этих цифр усматривается любопытная зависимость между числом вариантов N, или исходов, и числом единиц информации J, необходимым для принятия решения,

Логарифмируя это выражение по основанию два, получаем

Вот мы и вывели сообща формулу для вычисления необходимого количества информации, которую предложил американский ученый Р. Хартли еще в 1928 году. Она гласит: "Информация, необходимая для выбора из N равноправных вариантов, равна логарифму числа вариантов".

Логарифмическая функция, наша школьная знакомая, возрастает очень медленно с ростом числа. Значит, и потребное количество информации с ростом числа вариантов растет очень медленно. Так, продолжая нашу таблицу для большого числа исходов, легко находим, что при 512 вариантах необходимо только 9 единиц информации, чтобы принять решение, а при N = 4096 только на три единицы больше, то есть 12.

Иногда удивляются тому, как опытный следователь, получая от обвиняемого скупые ответы только в виде единиц информации - "да" или "нет", быстро распутывает дело. Ему, безусловно, помогает выведенная нами логарифмическая зависимость.

Единичная доза информации, которая получается из нашей формулы, если в ней положить N = 2 (log₂2=l), получила международное название "бит". Оно происходит от сокращения английских слов bindry digit, что значит двоичная единица.

У дотошного читателя, наверное, уже давно появилась законная претензия к автору, который оперирует все время числом исходов, точно равных двойке, возведенной в степень целого числа. А как быть с другим числом вариантов? Ну, например, с N = 50? Сколько бит информации тут необходимо? Здесь нас выручают таблицы логарифмов. Ведь "логарифм числа N, по основанию два, есть степень, в которую надо возвести основание, чтобы получить это число N". Не беда, если эта степень будет не целая, а дробная. Заглядываем в таблицу двоичных логарифмов. Для N = 50 находим J = 5,644.

Из наших примеров следует, что мы в жизни на каждом шагу пользуемся этой минимальной дозой информации в один бит.

Проснувшись утром, вы сразу задаете себе вопрос: "Немедленно вставать или еще полежать? Да или нет?" Секунда уходит на ориентацию во времени, и вы принимаете решение: "Нет, еще не вставать, еще понежиться".

Раздается голос жены: "Что на завтрак - омлет или глазунью?"

Вы еще сонным голосом сообщаете ей ровно один бит информации: "Омлет", сделав четкий выбор из двух вариантов, из двух исходов.

А кто не подсказывал в школе товарищу движением головы, чтобы сообщить ему ровно один бит информации: "Да" или "нет"? Не случайно жизнь выработала этот метод четкого вопроса: "Да" или "нет"? Он требует принятия решения и четкого ответа в виде одного бита информации - либо "да", либо "нет", он требует ухода из болота ни "да", ни "нет", скорее "да", чем "нет", и "да", и "нет".

Эта порция информации, этот бит обладает очень ценными свойствами. Он наиболее прост и надежен в передаче на расстояние: кивок головой, взмах рукой, возглас, выстрел, взрыв, световой зайчик, костер, ракета и т. д.

Для систем проводной и радиосвязи бит просто клад. В силу своей простоты - ведь надо передать только "да" или "нет" - он отлично сражается с помехами и обеспечивает наибольшую дальность и наименьшие ошибки.

Наконец, - самое главное - из этих простых дальнобойных посылок типа "да - нет" (в канале связи - это может быть + и -, 0 и 1, излучение и отсутствие излучения) можно составить любую сложную информацию, как из простых кирпичей создают чудеса архитектуры. Даже, точнее сказать, наоборот - любую информацию: речь, музыку, изображение - можно разложить на простые биты типа "да - нет", передать их в таком надежном виде по каналам связи, а затем снова восстановить исходную информацию. Как это делается, мы покажем ниже.

Итак, если мы передаем из одной точки пространства в другую одну посылку, которая может принимать только одно из двух значений - "да" или "нет", то мы сообщаем ровно один бит информации.

При этом передаваемая информация совершенно не зависит от вида переносчика; это может быть звук, свет, электрический ток, радиоволна, луч лазера и т.д.