Защита ИИ с жесткими границами

Как только ваши агенты могут получать доступ к реальным системам и действовать с живыми данными, вопрос перестаёт быть «может ли он это сделать?» и становится «должен ли он это делать, и кто несет ответственность, если он не остановится сам?»Эта сессия углубляется в последствия неправильной реализации правильных границ и охранных мероприятий для ИИ-агентов. Мы начинаем с дела Moffatt против Air Canada — чат-бота, который выдумал политику прощальной скидки, которой не существовало — как ведущий пример. Далее мы исследуем полный спектр рисков агентов: галлюцинированная политика, утечка персонально идентифицируемой информации (PII), инъекция подсказок, попытки jailbreak и более обыденная, но все еще вредная проблема — агент, который уходит в неуместный, смущающий разговор.Мы конкретизируем механизмы охраны, которые на самом деле удерживают эти границы: тематические охраны, которые проводят четкую линию вокруг конкретных тем, этическое модерация, наложенное на стандартные настройки поставщика модели, обнаружение jailbreak, редактирование PII с поддержкой пользовательских сущностей и обоснованность — заставляя агента отвечать только в рамках контекста, который ему был дан.Чему вы научитесь: