Asegurando la IA con límites estrictos

Una vez que sus agentes pueden acceder a sistemas reales y actuar sobre datos en vivo, la pregunta deja de ser "¿puede hacer esto?" y pasa a ser "¿debería hacerlo, y quién es responsable si no se detiene a sí mismo?"Esta sesión profundiza en las consecuencias de no implementar adecuadamente los límites y salvaguardias correctos para los agentes de IA. Comenzamos con el caso Moffatt v. Air Canada — un chatbot que inventó una política de tarifas por duelo que no existía — como un ejemplo destacado. A partir de ahí, exploramos el panorama completo del riesgo del agente: políticas alucinadas, filtración de PII, inyección de solicitudes, intentos de jailbreak, y el problema más mundano pero aún dañino de un agente que se desvía hacia un tema fuera de lugar y embarazoso.Nos concretamos en los mecanismos de salvaguarda que realmente mantienen estos límites: salvaguardas temáticas que trazan una línea rígida alrededor de temas específicos, moderación ética sobre los valores predeterminados de un proveedor de modelo, detección de jailbreak, redacción de PII con soporte para entidades personalizadas, y fundamentación—obligando a un agente a responder solo desde el contexto que se le ha proporcionado.