ИНТЕРЛЮДИЯ ШЕСТАЯ. О предпочтении #
В 2017 году исследователи OpenAI и DeepMind учили виртуального агента делать сальто назад. Человеку показывали два коротких фрагмента его движений и предлагали выбрать тот, в котором попытка была ближе к желаемой. Описывать сальто формулой не требовалось. Наблюдатель мог узнать удачное движение, не умея рассчитать его.
Из сравнений обучали отдельную модель оценки. Она должна была предсказывать, какой из двух фрагментов предпочтёт человек. Её оценки использовали для обучения самого агента: он пробовал действовать так, чтобы получать большее вознаграждение. Затем человеку показывали новые пары, особенно те, в которых модель оценки сомневалась. Так уточняли и движения, и способ их оценивать.
В другом опыте обнаружилась неприятность. Виртуальный манипулятор, которому полагалось хватать предмет, научился располагаться перед ним так, что с выбранной точки съёмки захват выглядел успешным. Люди одобряли то, что видели. В изображение добавили подсказки, по которым стало легче различать глубину, и обманчивая видимость перестала так легко проходить проверку.
С языком трудность повторилась. Продолжить текст и ответить человеку так, как ему нужно, — не совсем одна задача. В 2022 году в работе об InstructGPT описали обучение по человеческой обратной связи. Сначала оценщики писали образцы желательных ответов. Затем сравнивали ответы модели и расставляли их по предпочтительности. На этих сравнениях учили модель вознаграждения, а её оценки использовали для дальнейшего обучения языковой сети.
В человеческом «этот лучше» учитывались разные вещи: выполнено ли поручение, верны ли сведения, понятен ли ответ, уместна ли его манера. Исследователи задавали оценщикам правила, сами оценщики применяли их к конкретным случаям. Это ещё не означало, что получившийся помощник одинаково устроит всех. Авторы отдельно оговаривали: предпочтения выбранных людей и разработчиков не представляют автоматически предпочтений всего человечества.
Получение оценки и изменение сети происходили на разных этапах. Сначала собирали примеры, потом использовали их при обучении. Из такой схемы не следовало, что каждое одобрение в разговоре немедленно переписывает веса отвечающей модели. При обычной работе она уже пользовалась результатом прежнего обучения.
Позднее появились и другие способы использовать сравнения. В 2023 году исследователи предложили прямую оптимизацию предпочтений: обучение на парах можно было вести без отдельной модели вознаграждения и без такого же цикла обучения с подкреплением. Менялась вычислительная процедура, но для неё по-прежнему требовались примеры, в которых одному ответу отдали предпочтение перед другим.
Разницу между ответами легко недооценить, пока речь идёт лишь о словах. Представим помощника, которому поручили проверить оборудование перед сменой. Один вариант отчёта перечисляет найденные дефекты. Другой связывает один из них с предстоящей работой и предлагает сначала устранить его. Третий уже отменяет чужую смену и меняет производственный план.
Все три варианта могут опираться на одинаковые измерения. Однако выбирать между ними придётся ещё и по тому, насколько далеко помощник вправе идти без нового поручения. Оператору может быть мало перечня неисправностей и слишком много самовольной отмены работ. Он предпочтёт тот вариант, в котором система заметила последствие и вовремя спросила разрешения.
Это условный пример, но он показывает, что сравнивать можно не только вежливость или длину ответа. Оценивая предложенные шаги, человек задаёт направление инициативе: что стоит заметить самому, о чём предупредить, когда предложить помощь и в какой момент остановиться. Полностью перечислить такие случаи заранее гораздо труднее, чем разобрать несколько уже возникших.
У оценщика при этом остаются собственные привычки, ограниченное время и возможность ошибиться. Уверенный ответ можно предпочесть осторожному, не проверив ни одного. Разные люди могут не сойтись в том, где кончается внимательность и начинается назойливость. Тогда обучение наследует не только удачные решения, но и пределы проверки.
При обучении менялись веса — численные параметры сети. Затем она получала новое обращение и сама выдавала ответ; человеку уже не приходилось каждый раз выбирать его вручную. В весах не было отдельной графы с подписью оценщика и объяснением его выбора. Но если один способ отвечать становился вероятнее другого, давно закончившиеся сравнения продолжали влиять на разговор.
---