Лишь при равновероятных ответах ответ «Да» или «Нет» несет 1 бит информации. Общая формула для подсчета количества информации, содержащегося в сообщении а, выглядит гак

где Р(а) — вероятность появления данного (дискретного) сообщения а.

Обратите внимание, что для абсолютно достоверного события P(а) = 1 (событие обязательно произойдет, поэтому его вероятность равна единице), при этом количество информации в сообщении о таком событии i(а) = 0. Чем невероятнее событие, тем большую информацию о нем несет сообщение.

Но зачем в приведенной формуле использована логарифмическая функция? Нельзя ли проще? Нет, проще не получается. Информация, содержащаяся в двух независимых сообщениях a_>1, и а_>2, должна быть равна сумме информации, содержащихся в каждом из сообщений: i(a_>1,a_>2) = i(a_>1) + i(a_>2). Логичное требование, не правда ли? Но вероятность того, что источник пошлет оба эти сообщения, одно за другим, равна произведению вероятностей появления каждого из сообщений: P(a_>1,a_>2) = Р(а_>1)·Р(а_>2). Как известно, при умножении двух величин их логарифмы складываются. Поэтому и количество информации должно выражаться логарифмической функцией.

Ввиду широкого использования двоичных сигналов в вычислительной технике и связи, чаще всего используют логарифм по основанию два. При этом количество информации оказывается выраженным в битах. Если в примере с влюбленными вероятность ответов «Да» и «Нет» одинакова и, следовательно, составляет 0,5, то количество информации в одном ответе составляет 1 бит.

Ну а что если выбор надо осуществить не из двух сочетаний, а из множества? У древних индейцев Центральной Америки существовало узелковое письмо. Писали, завязывая узелки на веревке. Совершенно очевидно, что при таком способе письма можно использовать двоичный код: есть узелок в данном месте единица, нет узелка — нуль. Если на каждом сантиметре длины веревки разместить по узелку, то метровая веревка будет нести 100 бит информации. Согласитесь, это не так уж мало.

В одном романе Жюля Верна собака, увидев игрушечные кубики с буквами, выбрала из них вполне определенные, с буквами, которые составили имя ее пропавшего хозяина, чем и приоткрыла завесу над тайной его исчезновения. Здесь мы видим выбор определенных знаков из 26, составляющих английский алфавит.

Еще один пример, но теперь из реальной жизни — 1943 год, англо-американские войска готовятся к высадке на итальянский остров Сицилию, занятый фашистскими войсками. В это время в одной из тюрем США сидел очень влиятельный гангстер Лучано, выходец из Сицилии. Американская разведка, пользуясь всяческими средствами, вступила с ним в сговор, пообещав досрочное освобождение. В результате с самолета над Сицилией был сброшен вымпел — шелковый платок с вышитой на нем буквой L. Сицилийские мафиози, в то время не ладившие с немецко-фашистскими оккупантами, прекрасно поняли смысл сообщения: Лучано за союзников! Эффект был поразителен — американская армия практически не понесла потерь при освобождении Сицилии, так как мафиози основательно помогли ей, начав партизанскую войну против немцев.