KI mit strengen Grenzen absichern

Description

Sobald Ihre Agenten auf reale Systeme zugreifen und mit Live-Daten handeln können, hört die Frage auf, "kann es das tun?" und beginnt, "sollte es das tun, und wer ist verantwortlich, wenn es sich nicht selbst stoppt?" Diese Sitzung befasst sich mit den Konsequenzen, die entstehen, wenn die richtigen Grenzen und Sicherungen für KI-Agenten nicht ordnungsgemäß implementiert werden. Wir beginnen mit dem Fall Moffatt gegen Air Canada — einem Chatbot, der eine Trauertarifpolitik erfand, die nicht existierte — als führendes Beispiel. Von dort aus erkunden wir die gesamte Landschaft des Risikos von Agenten: halluzinierte Richtlinien, PII-Lecks, Eingabeinjektionen, Jailbreak-Versuche und das banalere, aber dennoch schädliche Problem eines Agenten, der in ein off-topic, peinliches Thema abdriftet. Wir werden konkret hinsichtlich der Sicherheitsmechanismen, die diese Grenzen tatsächlich einhalten: thematische Sicherheitsmechanismen, die eine strikte Linie um bestimmte Themen ziehen, ethische Moderation, die auf den Standardeinstellungen eines Modellanbieters basiert, Jailbreak-Erkennung, PII-Retuschierung mit Unterstützung für benutzerdefinierte Entitäten und Verankertheit — den Agenten zwingen, nur aus dem Kontext zu antworten, der ihm gegeben wurde.