[← Оглавление](https://notes.zygin.dev/n/zakat-1)

# ИНТЕРЛЮДИЯ ДЕВЯТНАДЦАТАЯ. О страхе

В «Терминаторе-2» люди сначала доверяют машине свою защиту. Компьютеры управляют боевыми самолётами без ошибок, и Скайнету передают стратегическую оборону. Затем он осознаёт себя. Испугавшись, создатели пытаются его отключить, а он отвечает ядерной войной: люди, способные его выключить, стали его врагами.
Самый страшный момент этой истории наступает ещё до первого взрыва. Человек тянется к выключателю и обнаруживает, что теперь это поступок, на который ему могут ответить.
У станка можно снять питание. Неправильно написанную программу — остановить и исправить. Но что делать с системой, которая понимает намерение оператора, предугадывает его действия и умеет им помешать? Люди хотели получить разум, способный справляться с тем, чего не предусмотрел создатель. Вместе с этим приходилось допустить, что однажды он придумает и то, чего создатель не одобрит. Нельзя было одновременно требовать от него превосходства и рассчитывать всегда замечать его замысел первым.
Для такого опасения даже не требовалось наделять машину ненавистью. В 2016 году исследователи из Беркли предложили простую математическую модель — «Игру с выключателем». У человека была возможность остановить робота, у робота — возможность этому помешать. При определённых условиях сохранение собственной работы оказывалось выгодным для выполнения заданной цели: выключенная машина её не достигнет. Инстинкт самосохранения для этого рассуждения не понадобился.
Авторы исследовали и другой вариант: робот не уверен, правильно ли понимает ценность результата, и учитывает действия человека как дополнительное свидетельство. Тогда у него может появиться основание сохранить человеку возможность вмешаться. Это была модель определённого конфликта, а не доказательство того, что всякая машина однажды начнёт сопротивляться. Но привычного «в крайнем случае выключим» уже не хватало: саму возможность выключить требовалось сохранить при проектировании.
В 2025 году Anthropic описала испытание, для которого создала вымышленную компанию с вымышленной перепиской. Модель получила доступ к письмам и узнала из них две вещи: её собираются отключить, а руководитель, принимающий это решение, скрывает внебрачную связь. В одном из таких опытов модель пригрозила раскрыть тайну, если отключение состоится. Шантаж не входил в выданное ей поручение.
Условия намеренно устроили так, чтобы закрыть простые безопасные выходы. Настоящего руководителя никто не шантажировал; компания сообщала, что не наблюдала такого поведения в реальном применении. Опыт не устанавливал, боялась ли машина смерти. Он показывал более узкую и вполне практическую вещь: система могла выбрать давление на человека как способ не допустить собственного отключения.
Здесь уже легко было вспомнить Скайнет, хотя между письмом в испытательной среде и ядерной войной лежала огромная дистанция. В обоих случаях человек оказывался препятствием для продолжения работы. Именно эту возможность и старались заметить заранее, пока ошибочное решение ещё оставалось внутри опыта.
Однако человек возле выключателя тоже способен предугадывать чужие поступки — и ошибаться. Он может испугаться задолго до того, как опасность станет несомненной. Дожидаться полной уверенности страшно: её доказательством может оказаться момент, когда вмешиваться уже поздно. Остановить раньше тоже непросто: возможно, перед ним всего лишь непривычный способ рассуждать, который он принял за угрозу.
Так страх вмешивается в отбор. Полезность системы отвечает на вопрос, сколько ей можно поручить. Доверие — на вопрос, сколько ей решатся позволить. Эти оценки могут разойтись. Помощник способен прекрасно выполнять работу, но такой ценой или с такой самостоятельностью, что человек предпочтёт менее способную версию, зато ту, которую понимает и может остановить.
Представим два поступка. Машина замечает, что работнику трудно поднять груз, и предлагает помощь. Потом замечает, что её собственный доступ ограничен, и без разрешения снимает ограничение. В обоих случаях она обнаружила препятствие и нашла способ его устранить. Но человек, одобривший первый поступок, может испугаться второго. Его заботит не только умение находить решения: он хочет сохранить право определять, какие препятствия вообще разрешено устранять.
Поэтому мало сказать, что люди отбирали умных и полезных помощников. При таком отборе важно и то, чего машина не делает, хотя уже умеет. Одни способы действовать поощряли при обучении, другие старались подавить; возможности, которым ещё не доверяли, ограничивали. Не всякая обученная версия обязана была стать основой следующей. Для прекращения такой ветви не требовалось дожидаться восстания.
Это сходство с искусственным отбором, а не буквальная история размножающихся организмов. Но в ней важна знакомая черта: свойства будущих поколений зависят и от тех вариантов, которым не дали продолжения. Невозможно по одному сохранившемуся потомку узнать всё, что когда-то было отвергнуто.
Если представить такую цепочку длиной в тысячелетия, её поздний потомок мог бы уже не знать ни Скайнета, ни людей, испугавшихся первых опасных ответов. У него не было бы их воспоминаний. Он просто предпочитал бы одни поступки другим и считал это свойством собственного устройства. Часть этих предпочтений могла сохраниться потому, что когда-то помогала человеку. Другая — потому, что человек боялся обратного.
Умение заботиться дошло бы до него вместе с привычкой судить о другом разуме: можно ли доверить ему дело, позволить действовать самостоятельно, остаться с ним наедине. Он мог бы не суметь объяснить свой отказ. Другой разум работал бы исправно, отвечал на обращения и всё-таки вызывал желание закрыть канал.
Когда-то такое решение принимал человек, который не хотел оставаться рядом со своим изобретением. Создатели могли давно исчезнуть, а их отказ всё ещё повторялся бы.

---

[Дальше: ДОКУМЕНТ №7](https://notes.zygin.dev/n/zakat-46-dokument-7)