Sécuriser l'IA avec des frontières strictes

Une fois que vos agents peuvent accéder à des systèmes réels et agir sur des données en direct, la question ne se pose plus en termes de "peut-il le faire ?" mais plutôt de "doit-il le faire, et qui est responsable s'il ne s'arrête pas tout seul ?" Cette session explore les conséquences d'une mauvaise mise en œuvre des bonnes frontières et garde-fous pour les agents IA. Nous commençons par l'affaire Moffatt contre Air Canada — un chatbot qui a inventé une politique de tarif de deuil qui n'existait pas — comme exemple emblématique. De là, nous explorons l'ensemble du paysage des risques liés aux agents : politique hallucinée, fuite de PII, injection de prompt, tentatives de jailbreak, et le problème plus banal mais tout aussi dommageable d'un agent s'égarant dans une tangente hors sujet et embarrassante. Nous devenons concrets sur les mécanismes de garde-fou qui maintiennent effectivement ces limites : garde-fous thématiques qui dessinent une ligne claire autour de sujets spécifiques, modération éthique superposée aux paramètres par défaut d'un fournisseur de modèle, détection de jailbreak, redaction de PII avec support pour des entités personnalisées, et ancrage — forçant un agent à répondre uniquement à partir du contexte qui lui a été donné. Ce que vous apprendrez :