Планка и граница: что считать хорошим результатом

Самое слабое место в работе с агентом — не постановка задачи и не сбор материалов. Это ответ на вопрос «а как я пойму, что получилось».

Без него разбор результата сводится к «ну, вроде неплохо» или «что-то не то». Ни то ни другое нельзя превратить в правку: непонятно, что именно чинить.

Критерий задаётся до прогона

Правило звучит жёстко, но оно операционное: признаки готовности формулируются до того, как вы увидели результат. Если формулировать после, вы неизбежно подгоните критерий под то, что получилось, — и потеряете единственный инструмент диагностики.

Признаков нужно два-три. Один — слишком грубо, пять — вы не удержите их в голове при проверке.

Какими бывают хорошие признаки

Хороший признак проверяется взглядом за минуту и не требует спора. Работают четыре типа.

Форма. Объём, структура, адресат. «Одна страница, пять тезисов, под каждым одно предложение обоснования» — проверяется мгновенно.

Обязательное содержание. Что должно присутствовать непременно. «Каждая цифра со ссылкой на документ и страницу», «есть раздел про то, чего в материалах нет».

Запрет. Чего быть не должно. «Без вступления», «без пересказа того, что я и так знаю», «никаких цифр не из приложенных файлов». Запреты работают лучше, чем кажется: модель по умолчанию склонна к вежливой воде и к достраиванию недостающего.

Проверяемость. Можно ли за минуту убедиться, что утверждение правдиво. Этот признак защищает от главного риска — уверенно поданного вымысла.

Плохие признаки: «качественно», «профессионально», «как я бы сам сделал». Их нельзя проверить, а значит нельзя и починить.

Просите план до исполнения

Есть простой приём, который экономит больше времени, чем все остальные вместе взятые: не давайте агенту сразу делать — попросите сначала описать, что и как он собирается сделать.

Прежде чем начинать, опиши план: что ты собираешься сделать, в каком порядке, на какие документы будешь опираться и что покажешь на выходе. Ничего не делай, пока я не подтвержу.

План читается за минуту. За эту минуту видно, понял ли он задачу вообще, — а если не понял, вы правите одну строку плана вместо того, чтобы разбирать десять страниц не того.

Управленчески здесь нет ничего нового. Ровно так вы работаете с подрядчиком: сначала он присылает, как понял задачу, и только потом берётся. Странно, что с агентом этот шаг обычно пропускают, — а именно на нём чаще всего и выясняется, что задача была понята иначе.

Граница: что проверяет машина, что проверяет человек

Дальше критериев идёт вопрос, который для члена совета директоров важнее, чем для кого бы то ни было: где заканчивается зона агента и начинается ваша.

Проверка получается двойной.

Машинная. Агент сверяет собственный результат с признаками, которые вы задали, и сам сообщает, где не сошлось. Это дешёвая проверка, она отлавливает форму, пропуски и несоответствие структуре.

Человеческая. Вы смотрите там, где цена ошибки высокая. Правило простое: человек проверяет то, за что отвечает. Цифра, которая пойдёт в решение совета. Формулировка, которая уйдёт наружу от вашего имени. Вывод, на основании которого распределяются деньги.

Граница описывается одной фразой и записывается до работы: что агент делает сам, что приносит на подпись, чего не делает никогда.

Почему это разговор про ответственность

Для директора здесь есть слой, которого нет у обычного пользователя. Агент не является субъектом ответственности. Что бы он ни сделал, отвечает человек, который принял результат.

Из этого следуют два практических вывода.

Первый: граница должна быть проведена до, а не после первого инцидента. Формулировка «посмотрим, как пойдёт» означает, что границы нет.

Второй: то же самое применимо к обсуждению ИИ-инициатив на самом совете. Когда менеджмент приносит проект, три вопроса из этого материала работают один в один — по какому признаку мы поймём, что получилось, кто проверяет, и кто отвечает, когда не получится. Если ответов нет, обсуждать бюджет рано.

Что записать до интенсива

По вашей выбранной рутине — четыре строки:

1. Два-три признака, по которым результат годен.
2. Что агент делает сам.
3. Что приносит вам на проверку.
4. Чего не делает никогда.

Этого достаточно. Остальное соберётся в зале.