Но в глобальной экономической сети, в окружении миллиардов людей и тысяч ядерных боеголовок, со всеми этими утечками личных данных из Facebook и голографическими концертами Майкла Джексона наши алгоритмы стали лажать. Они сбиваются и загоняют нас в бесконечный цикл все усиливающихся конфликтов, которые, по природе этих алгоритмов, никак не могут закончиться постоянным удовлетворением и вечным миром.

Это как жесткий комментарий, который порой приходится слышать: «Единственное, что объединяет все твои поганые отношения, – это ты». Так вот, единственное, что объединяет все самые большие проблемы в мире, – это мы. Ядерное оружие никого бы не напрягало, если бы не было баранов, испытывающих соблазн его использовать. Биохимическое оружие, климатические изменения, вымирающие виды, геноцид – список можно продолжать, и ни одной из этих проблем не было, пока не появились мы{301}. Домашнее насилие, сексуальное насилие, отмывание денег, мошенничество – все мы.

Жизнь полностью строится на алгоритмах. Пока что мы самый продвинутый и сложный алгоритм, порожденный природой, вершина примерно миллиарда лет эволюции. И сейчас мы находимся на грани создания алгоритмов в разы лучше, чем мы сами.

Несмотря на все наши достижения, человеческий разум все еще ужасно дефектен. Наша способность обрабатывать информацию ограничена нашей эмоциональной потребностью в самоутверждении. Она загибается петлей внутрь из-за наших искажений восприятия. Наш Думающий мозг регулярно становится заложником беспрестанных желаний Чувствующего – его запирают в багажнике Машины сознания, заткнув рот кляпом или накачав чем-нибудь до беспамятства.

И, как мы уже увидели, наш моральный компас слишком часто сбивается с курса неистребимой потребностью генерировать надежду за счет конфликтов. Как говорит специалист по психологии морали Джонатан Хайдт, «мораль сковывает и ослепляет»{302}. Наш Чувствующий мозг – отжившее, устаревшее программное обеспечение. А Думающий мозг работает хоть и качественно, но слишком медленно и неуклюже. Спросите Гарри Каспарова.

Мы вид, который ненавидит и истребляет сам себя{303}. Это не морализаторство, это просто факт. Вот то самое внутреннее напряжение, которое мы все постоянно чувствуем, – как раз оно нас к этому и привело. Из-за него мы тут и оказались. Это все наша гонка вооружений. И мы вот-вот передадим эстафетную палочку главным процессорам следующей эпохи – машинам.

Когда Илона Маска спросили, что сейчас больше всего угрожает человечеству, он быстро ответил, что существует три главные угрозы: первая – широкомасштабная ядерная война, вторая – изменение климата… а перед тем, как назвать третью, он замолчал. Его лицо помрачнело. Он опустил глаза и ушел в свои мысли. Тогда интервьюер спросил: «Так а что же третье?» Маск улыбнулся и сказал: «Надеюсь, компьютеры решат относиться к нам хорошо».

Многие опасаются, что ИИ уничтожит человечество. Некоторые подозревают, что все может пойти по драматичному сценарию «Терминатора-2». Другие боятся, что машины убьют нас «случайно», что ИИ, разработанный для поиска более эффективного способа производства зубочисток, внезапно решит, что лучшее сырье для них – человеческие тела