Вспомним, что говорил Эрл Винер: «Цифровые устройства исправляют незначительные ошибки, создавая возможности для крупных»[258]. В случае с автопилотами и автономными транспортными средствами можно добавить: это происходит именно по той причине, что незначительные ошибки исправляются. Лишенные обратной связи, любых несерьезных проблем, которые позволяли нам сохранять наши навыки, в кризисных обстоятельствах мы обнаруживаем себя совершенно неподготовленными.

Каждое применение идеи Винера о крупных и маленьких ошибках предусматривает компромисс. GPS-навигатор регулярно избавляет меня от побочных хлопот, связанных с подготовкой к поездке, но иногда отправляет меня в сельскую церковь прямо перед свадебной церемонией. Стоит ли случайное разочарование сэкономленного времени? С учетом того, что я вновь начал доверять навигатору, я могу заключить, что стоит.

Когда речь заходит об упорядоченных базах данных, компромисс чреват последствиями. Автоматизация упрощает наказание за нарушения парковки и удерживает потенциальных террористов подальше от самолетов. Но она создает ситуации, в которых люди должны отстаивать неправдоподобные истории: «Я не нарушал правила парковки, я стоял в пробке» или «Это не террористическая группировка, это ассоциация выпускников». Оправдывает ли более эффективное обслуживание в большинстве случаев вовлечение небольшой группы людей в сражения против бюрократии в стиле Кафки? На этот вопрос непросто ответить. Но сам факт его наличия говорит, что нужно прислушиваться к людям, которые утверждают, что стали жертвами редкой и необычной ошибки, и создавать механизмы быстрого устранения этих ошибок.

С системой fly-by-wire гораздо легче оценить стоимость компромисса. До конца 1970-х можно было уверенно ждать как минимум 25 смертельных крушений коммерческих самолетов в год. В 2009 году рейс Air France 447 был одним из восьми произошедших крушений — исторический рекорд! Анализ затрат и выгод кажется очевидным: страшные катастрофы вроде рейса 447 оправдывают свою цену — твердая кремниевая рука компьютера предотвратила многие другие.

Однако по-прежнему нельзя не задаться вопросом, есть ли способ совместить адаптируемость, здравый смысл и интуицию человека с надежностью компьютеров с целью дальнейшего сокращения количества происшествий. Один из приоритетов мог включать создание полуавтоматизированных систем, которые осуществляют обратную связь более явным образом. Экипажу рейса 447 Air France 75 раз сказали, что самолет заваливается — STALL, STALL, STALL, но они не чувствовали этого интуитивно. Если бы на экранах появилось огромное изображение самолета с носом, направленным вверх, это бы отобразило опасность. Схожим образом рычаги системы управления не повторяли действия пилотов, поэтому старший пилот не осознавал, что Бонэн отменял его решения. Систем объявила, что пилоты давали самолету противоречивые инструкции, но ее проигнорировали — более явное предупреждение, возможно, привлекло бы внимание.

Некоторые старшие пилоты требуют, чтобы их младшие коллеги иногда выключали автопилоты, поддерживая тем самым свои навыки. Это кажется хорошим советом. Но если младшие пилоты будут выключать автопилот только в безопасных ситуациях, это значит, что они не будут практиковаться в сложных ситуациях. И если они выключат автопилот в трудных условиях, то могут спровоцировать ту самую катастрофу, которой всеми силами старались избегать.