V = (P – p)/(1 – p).
В этой формуле V означает ценность информации, p – вероятность достижения цели до получения информации, а P – после её получения. Если после того, как вы получили сообщение, вы наверняка достигнете цели, то P = 1 и ценность полученной информации равна единице, т. е. своему наибольшему значению. Если же после этого сообщения вероятность достижения цели не изменилась, то P = p и ценность сообщения равна нулю.
Ценность информации далеко не всегда зависит от её количества. Предположим, что вам предложено решить тестовое задание, где из четырёх возможных ответов требуется выбрать один верный. Узнав ответ, вы получите информацию, величина которой равна 2 битам, а ценность – единице. Если же вам предложат выбор из шестнадцати вариантов, то в этом случае правильный ответ принесёт вам 4 бита, а ценность полученной информации останется прежней, так как и в том и в другом случае вы в результате достигаете поставленной цели – справиться с заданием. Информацию, которая не содержит никакой ценности, называют шумом. Одна и та же информация может обладать различной ценностью. Так, если по телевизору передают репортаж о спортивном состязании, то для зрителя, интересующегося спортом и болеющего за одну из играющих команд, получаемая информация представляет огромную ценность, тогда как для его соседа, думающего о чём-либо другом или читающего книгу, репортаж представляется шумом.
Важной характеристикой информации служит её избыточность. Избыточная информация присутствует практически в любом тексте. Изначально избыточность текста появляется из-за того, что вероятность встречаемости букв в алфавите русского, как и любого другого, языка неодинакова. Если проанализировать встречаемость различных букв в русском тексте, то мы увидим, что в половине случаев мы обнаружим буквы О, Е, А, И, Т, Р или Н, и меньше 5 % придётся на долю букв Ю, Ж, Х, Щ, Ф, Ш, Э, Ц, И, Ъ. С учётом неравномерной встречаемости букв энтропия алфавита русского языка равна не 5 битам, а всего 4,39 бита. Отношение максимальной энтропии к реальной и определяет её избыточность.
В действительности избыточность языка оказывается ещё большей из-за того, что в языке существуют устойчивые пары или тройки сочетаний букв, вероятность появления которых значительно больше, чем у других сочетаний. Если учесть вероятность появления различных сочетаний двух букв, то энтропия становится равной 3,52, а при учёте вероятности сочетаний трёх букв – 3,05 бит/букву[5]. Благодаря этому часто даже при потере значительной части букв текст удаётся восстановить, т. е. извлечь из него всю изначально содержащуюся информацию. Классический пример можно найти в книге Жюля Верна «Дети капитана Гранта». В записке, которую извлекли из желудка акулы, было смыто морской водой 170 букв из 250. Паганель не смог полностью расшифровать испорченный текст, но ему удалось извлечь из него достаточно информации, чтобы после нескольких попыток найти потерявшуюся экспедицию. Тексты с меньшим числом потерянных знаков часто можно восстановить полностью.