Über das Modell hinaus: Agenten, Verifizierung & Kontrollsysteme

Vortrag 1: Dogwood: Eine neue Sprache für die Sicherheit von Agenten Wir haben kürzlich Dogwood eingeführt, eine neue Sprache, die entwickelt wurde, um zu beschreiben, was Agenten tun können und wann sie es tun können. Dogwood ist Open Source und Sie können es heute verwenden. In diesem Vortrag werde ich erläutern, was Dogwood ist und warum wir es entwickelt haben, einige der theoretischen Grundlagen (erstes temporales Logik) behandeln und beschreiben, wie Dogwoods skalierbare Cloud-Backend Dogwood in SQL kompiliert und Aurora DSQL verwendet, um schnelle, skalierbare, zustandsbehaftete Richtlinien zu erstellen. Vortrag 2: Evals ist das neue Schwarz (Box) Die Bewertung von Programmieragenten ist schwieriger als es zunächst scheint. Die Auswahl eines Modells und der Denkaufwand sind nur der Anfang. Programmiergestelle führen zusätzliche Variablen durch Eingabeaufforderungen, Werkzeuge, Verbindungen, Speicher und den Zustand über Sitzungen hinweg ein. Ein Ergebnis zu reproduzieren ist ebenfalls schwierig. Agenten können vorherige Lösungen entdecken, Zustand von früheren Ausführungen erben, vom KV-Cache profitieren oder von Werkzeugen abhängen, deren Ausgaben sich im Laufe der Zeit ändern. Gestelle und Modelle entwickeln sich unabhängig, sodass Techniken, die eine Kombination verbessern, für eine andere möglicherweise wenig Wert haben. Dieser Vortrag betrachtet die Bewertung von Agenten als ein Systemproblem. Wir werden die praktischen Herausforderungen der Isolation, Reproduzierbarkeit, Messung und den Vergleich sowie Lektionen aus dem Aufbau eines Bewertungssystems für echte Programmierarbeitsabläufe behandeln. Vielen Dank an Antithesis, dass Sie diese Veranstaltung möglich gemacht haben. Über die Referenten Marc Brooker ist VP und Distinguished Engineer bei AWS. Während seiner 16 Jahre bei AWS hat Marc an EC2, EBS, Lambda gearbeitet und zuletzt das Team geleitet, das Aurora DSQL eingeführt hat. Er konzentriert sich derzeit auf die Infrastruktur für agentische KI sowie auf die Verfügbarkeit und Sicherheit unserer großangelegten Systeme. Vor AWS hat Marc seine Promotion an der University of Cape Town abgeschlossen. Khawaja Shams ist CEO und Mitbegründer von Momento. Zuvor leitete er DynamoDB bei AWS und war Wissenschaftler im Jet Propulsion Laboratory von NASA. Er erhielt die NASA Early Career Medal für seine Arbeit an den Mars-Rovern. Süchtig nach Echtzeit-Dateninfrastruktur und dem Valkey-Ökosystem liebt er die rigide Charakterisierung von Hochleistungs- systemen und KI-Modellen. Daniela Miao ist CTO und Mitbegründerin von Momento. Zuvor leitete sie die Metriken bei Lightstep, das von ServiceNow übernommen wurde. Sie liebt Beobachtbarkeit und Instrumentierung als Werkzeuge zur Verbesserung der Leistung. Sie ist süchtig danach, Latzenzen von 100 µs für große Payloads über das EC2-Netzwerk zu verfolgen.