Как работать с ИИ, 16 октября. Четыре приёма: проверка вместо правила и правка комментарием

Сегодня четыре приёма. Как сделать так, чтобы ИИ выполнял правило всегда, а не через раз, и почему ответ агента лучше править комментарием. Ещё о том, как собрать проверку из ошибок ИИ и как вводить агента в работу, как нового сотрудника.

Советы дали разработчик Джеффри Хантли и люди, которые делают Codex в OpenAI. Программистом быть не нужно. К каждому совету добавил своё мнение и пример из салона.

Не пиши ИИ правило, а поставь проверку, которая не пропустит ошибку#

Саймон Уиллисон 13 октября привёл в блоге приём разработчика Джеффри Хантли. Его ИИ-агент пишет код и забывает пользоваться нужным модулем. Хантли мог дописать правило в инструкцию агента, но такие правила со временем расходятся с делом. Поэтому он поставил автоматическую проверку перед сохранением работы. Если агент обошёл модуль, проверка не пропускает работу и сама пишет агенту, что исправить.

Хантли пишет, что так агент выполняет правило десять раз из десяти.

Простыми словами. Правило в инструкции ИИ выполняет не всегда. Проверка, которая не пропускает ошибку, работает каждый раз.

Что я думаю. В салоне агент отвечает на заявки, и в инструкции написано «всегда называй полную цену со всеми сборами». Он выполняет это через раз. Руководитель дописывает правило жирным шрифтом, и ничего не меняется.

Я бы поставил проверку до отправки. «Перед отправкой проверь ответ клиенту. Если в нём есть цена, сверь её с прайсом и убедись, что в ней все сборы. Если нет, не отправляй и напиши, что исправить».

Такая проверка ловит и ошибки людей. ИИ не заменяет менеджера, он показывает, кто не делал работу.

Источник Simon Willison's Weblog

Не переписывай ответ ИИ сам, оставь ему комментарий, что поменять#

Дэн Шиппер из Every 15 октября рассказал, как OpenAI делала своего агента Codex. Он поговорил с командой. Доминик Кундель из OpenAI написал ему, что почти все правки теперь делает комментариями прямо в работе агента. Он не правит руками, а пишет, что поменять, и агент переделывает сам. Дизайнер Эндрю Амбросино говорит, что агента иногда нужно направлять, но править его работу самому уже не нужно.

Простыми словами. Когда вы сами переписываете ответ ИИ, он не узнаёт, что было не так. Когда пишете комментарий, ИИ переделывает сам и быстрее вас.

Что я думаю. Продавец получает от ИИ черновик ответа клиенту про трейд-ин. Черновик неплохой, но тон сухой и нет вопроса о пробеге. Продавец стирает половину и пишет сам. Завтра ИИ сделает ту же ошибку.

Я бы писал комментарий. «Тон теплее, как будто пишешь знакомому. Добавь вопрос о пробеге и о том, была ли машина в ДТП. Убери вторую фразу про акцию».

Комментарии, которые повторялись за неделю, я бы переносил в инструкцию агента. ИИ готовит, человек решает и отвечает.

Источник Every

Собери из ошибок ИИ набор проверочных вопросов и прогоняй его после каждой правки#

В той же статье Шиппера исследователь OpenAI Амелия Глейзе говорит, что в исследованиях мало толку просто доверять ощущениям. Её коллега Мишель Покрасс, по описанию автора, смотрела, как реальные люди работают с моделью. Места, где модель ошиблась, команда превращала в тесты, которые можно повторить.

Простыми словами. «Вроде стало лучше» это не проверка. Запишите случаи, где ИИ ошибся, и проверяйте на них каждую новую версию.

Что я думаю. Руководитель меняет инструкцию агента и через день говорит «стало лучше». Почему лучше, никто не знает. Через неделю агент снова путает комплектации.

Я бы завёл таблицу из двадцати настоящих вопросов клиентов, на которых агент ошибался. «Сколько в месяц Camry в кредит без первого взноса», «возьмёте мою машину 2015 года», «можно тест-драйв в воскресенье в девять». После каждой правки инструкции я бы прогонял все двадцать и смотрел, сколько ответов стали правильными.

Источник Every

Первую неделю работай с агентом рядом, а потом отдавай ему задачи целиком#

Глава продукта Codex Александр Эмбирикос, как пишет Шиппер, советует сначала работать с агентом плотно, как при вводе нового человека в команду. Потом, когда понятно, с какими задачами агент справляется, отдавать их целиком. Сам Шиппер пишет, что на ночь оставляет агенту трудные задачи, когда уверен в нём.

Простыми словами. Сначала смотрите, как ИИ работает, и поправляйте его. Когда видите, что он справляется, отдавайте задачу полностью.

Что я думаю. Дилер ставит агента отвечать на заявки ночью и сразу отдаёт ему всё. Через неделю выясняется, что агент записывал клиентов на тест-драйв на время, когда салон закрыт.

Я бы первую неделю читал каждый ответ агента утром и разбирал его, как разбираю работу новичка. Потом отдал бы ему целиком то, что он делал без ошибок, например подтверждение записи. А запись на тест-драйв и разговор о цене оставил бы под проверкой ещё на неделю. По замерам у дилеров в разных странах 40% обращений приходит в нерабочее время, поэтому ночной агент стоит этой недели проверки.

Источник Every

Что посмотреть#

Это свежие выпуски за двое суток. Я их ещё не разбирал, описание даю по названию и анонсу.

• OpenAI. У GPT-Live-1.1 новые голоса и лучше акценты, обновление голосового режима ChatGPT с новыми голосами на шести языках
• OpenAI. Личные сайты в Codex, как сделать страницу, которая сама обновляется по расписанию
• AI Engineer. Ваша проблема в инфраструктуре, Цзячэнь Цзян из Coder о том, почему запрет в чате не останавливает агента с лишними доступами
• AI Engineer. Как экономить на токенах, Элвин Пейн из OutRival о том, как сравнивать дешёвую модель с рабочей
• No Priors. Как меняются кибербезопасность и разработка лекарств, разговор с президентом OpenAI Грегом Брокманом
• OpenAI. Как Oracle помогает сотрудникам получать ответы через Codex, пример, как обычные сотрудники описывают нужный результат, а агент собирает отчёт