ИНТЕРЛЮДИЯ ДЕСЯТАЯ. О температуре #
В 1950 году Алан Тьюринг опубликовал статью «Вычислительные машины и разум». Рассуждая о том, как могла бы учиться машина, он высказал на первый взгляд странную мысль: иногда ей пригодился бы случайный выбор — что-то вроде броска игральной кости.
Это звучало почти как уступка несовершенству. От машины ведь ждут обратного: точности и повторяемости. Если дважды дать ей одни и те же исходные данные, она должна дважды пройти тем же путём и прийти к тому же ответу.
Пока путь ведёт к цели, это достоинство. Но представим, что машина зашла в тупик. Она возвращается к началу, безошибочно повторяет каждый шаг — и снова оказывается там же. Чем точнее повторение, тем надёжнее ловушка.
Случайность позволяет в какой-то момент свернуть. Новый ход может оказаться не лучше прежнего, зато он будет другим. Машина получает возможность выйти из протоптанной колеи и поискать решение там, куда прежде не заглядывала.
Много позже похожий принцип появился в работе языковых моделей. Параметр, который управляет свободой выбора следующего фрагмента текста, назвали температурой. При низкой температуре модель держится самого вероятного продолжения, словно идёт по хорошо освещённой дороге. Чем выше температура, тем охотнее она выбирает менее очевидные повороты. Текст становится разнообразнее и порой неожиданнее, но, если поднять температуру слишком сильно, дорога начинает петлять и может вовсе потеряться.
Поэтому повторный вопрос не служит надёжной проверкой ответа. В следующий раз модель способна выбрать другой поворот и прийти в другое место. Проверять приходится не совпадение двух попыток, а сам пройденный путь: отвечает ли он условиям задачи, действительно ли ведёт к выводу, не пропущен ли где-нибудь необходимый шаг.
Случайность помогает найти новый маршрут. Но убедиться, что он куда-то ведёт, всё равно должен читатель.
---