Девять концепций, которые прокачают вашего ИИ-сотрудника

Существует много готовых решений, которые позволяют быстро запустить цифрового помощника. Но будет ли он работать оптимально и безопасно? Ниже мы расскажем о нескольких концепциях, которые смогут существенно улучшить вашего агента. А если у вас ещё нет ИИ-сотрудника, то чего же вы ждёте? Напишите нам.

Цикл обратной связи

Если ваш цифровой ассистент периодически докладывает о выполненной работе, а позже вы обнаруживаете, что он на самом деле ничего не сделал или сделал не в том объёме, про который отчитался, — значит, ему не хватает цикла обратной связи.

Можно, конечно, давать инструкции о необходимости проверять свою работу перед отчётом, но надёжно это работать не будет. Вместо этого после завершения работы агента вызовите отдельную процедуру проверки его работы.

Как именно? Зависит от артефактов. Если есть возможность, то стоит делать детерминированные проверки. Финальным рубежом можно добавить проверку другой нейросетью (LLM-as-a-judge). На самом деле, это может быть и не LLM. Конечные артефакты может оказаться эффективнее проверять через классификаторы, каждый из которых отвечает за свой узкий вопрос. Всё это можно свести в единый отчёт и отправить назад цифровому сотруднику, если в его работе были найдены недочёты. Он проведёт работу над ошибками, и первый результат, который вы увидите, будет существенно более качественным.

Ответы по форме

Можно часто встретить рекомендацию настроить системные инструкции агента, чтобы он отвечал по определённому шаблону. Это действительно помогает, но это всё равно ненадёжно. Если у вас есть сценарии, когда критично придерживаться строгой схемы ответа, то настройте свою обвязку так, чтобы она требовала заполнения данных “по форме”. Например, можно описать JSON-схему и заставлять агента отвечать по ней, а дальше полученный JSON передавать в шаблонизатор для вывода конечного ответа.

Эволюционирующая автономность

Рекомендуем наращивать автономность агента постепенно. Но как? В идеале начинать с подтверждения всего и этими самыми подтверждениями обучать цифрового помощника. Каждое действие должно пропускаться через классификаторы по отдельным критериям (обратимость, масштаб последствий, публичность, данные, деньги, новизна) с учётом предыдущего опыта. Результаты классификаторов сводятся в общую оценку, и агенту либо автоматически разрешается действие, либо идёт запрос к пользователю на подтверждение. С каждым подтверждением система начинает работать всё автономнее и автономнее, потому что она более уверена в своих решениях.

Сон

Наука ещё до конца не определилась, какую роль в жизни человека играет сон, но одной из функций, похоже, является систематизация знаний. Сымитируйте сон вашему ИИ-сотруднику с помощью Аудитора и Куратора. Сначала Аудитор анализирует всё, что было сделано с момента предыдущего сна. Он ничего не знает о том, как устроена память цифрового помощника, и просто оценивает его работу. На основании этих данных Куратор уже занимается точечными коррекциями в той системе памяти, которая настроена в обвязке сейчас.

Проверка навыков

Все создают навыки для агентов, но далеко не все утруждают себя их проверкой. Плохо сформулированный навык может не срабатывать вообще или даже снижать эффективность.

Навык надо проверять не только после создания, но и на регулярной основе, т.к. смена модели или обвеса может повлиять на результативность. Ещё всего лишь год назад создавались навыки, которые существенно улучшали работу моделей в определённых сценариях, а сейчас они просто забивают контекст.

Гибридный поиск

Полнотекстовый или векторный (семантический) поиск? Да! Зачем выбирать, если можно использовать поисковый движок, который их объединяет?

Следует также отметить, что, как правило, для подготовки изначального контекста используют RAG, что начиняет сессию данными после семантического поиска. Если ресурсы позволяют, то лучше заменить этот шаг на отдельный цикл агента, который по входному запросу создаёт несколько точечных поисковых запросов в гибридный поиск, а потом оставляет только нужные результаты. В итоге ИИ-сотрудник получит самую сочную выжимку.

Рубильник

Чтобы быть полезным, ИИ-сотрудник должен иметь возможность взаимодействовать со множеством систем. Предусмотрите “рубильник” — возможность одним движением отозвать все доступы. Агенты работают очень быстро, и при возникновении нештатной ситуации каждая секунда может быть на счету.

Предохранители

Про бэкапы знают все, но это скорее способ восстановиться. А как не допустить ущерба или снизить его? Сначала опишите, что для вас будет ущербом. Потом опишите, какие прогрессивные ограничения будут накладываться на агента, когда система начнёт обнаруживать признаки такого ущерба. При возникновении подозрительных действий можно ограничивать агента в инструментах, замедлять его или, что более надёжно, ставить на паузу и отправлять запрос на подтверждение человеку. Кроме того, предохранители помогают и от банальных зацикливаний.

Динамическая изоляция

Ваш цифровой сотрудник сможет общаться с внешним миром и при этом обрабатывать приватные данные. В идеале нужно прорабатывать процессы и декомпозировать их так, чтобы в рамках одной LLM-сессии внутри агента не происходили одновременно и обработка критичных данных, и возможность их скомпрометировать. Но вы не добьётесь идеальной декомпозиции в первый же день, поэтому стоит предусмотреть механизм динамической изоляции. В контекст попали секретные материалы? Всё, с этого момента агент не сможет вызывать инструменты, которые позволят “слить” данные.

Судить о секретности данных, конечно, в идеале нужно вам самим, размечая их вручную. Но для подстраховки будет не лишним настроить классификатор для проверки данных, попадающих в контекст в реальном времени.

Введите уровни секретности данных и разметьте инструменты, которые доступны на том или ином уровне, чтобы избежать утечек и других нежелательных действий агента.

И это всё?

Это лишь верхушка айсберга. К тому же, существует масса нюансов при внедрении этих подходов. Мы занимаемся внедрением ИИ в бизнес и созданием цифровых сотрудников с момента появления агентных систем. Расскажите нам о вашей задаче и мы найдём оптимальное решение!