Selbstverbessernde KI-Systeme aufbauen

Da große Sprachmodelle in komplexen Bereichen angewendet werden, verschiebt sich die Grenze von einmalig trainierten Modellen zu selbstverbessernden Systemen. Amit wird die Selbstverbesserung in drei Achsen zerlegen: Erstellung von Umgebungen, RL-Training und Entwicklung von Hakensystemen, einschließlich Prüfern und Gedächtnis. Für die ersten beiden wird er ausführbare kontrafaktische Fragestellungen präsentieren, ein Framework, das kontrafaktisches Denken als Code operationalisiert und die skalierbare Generierung von RL-Umgebungen mit kontrollierbarem Schwierigkeitsgrad und überprüfbaren Antworten ermöglicht. Das RL-Training in diesen Umgebungen induziert die Kernverhalten des kontrafaktischen Denkens - Abduktion, Intervention und Vorhersage und verallgemeinert, im Gegensatz zum beaufsichtigten Feintuning, auf neue Code-Strukturen und mathematische Wortprobleme aus anderen Bereichen. Auf der Seite des Hakensystems wird Amit interwhen vorstellen, das natürliche Sprachrichtlinien in formale Prüfer übersetzt, die jeden Schritt des Denkens eines Agenten zur Laufzeit zertifizieren und die Pass^4 Zuverlässigkeit eines 30B Open-Weight-Modells auf τ²-bench Telecom von 32% auf 87% steigern. Diese Achsen bilden eine einzige Selbstverbesserungsschleife und werfen eine zentrale Forschungsfrage auf, wie man RL gemeinsam mit den Hakensystemkomponenten durchführen und sowohl das Modell als auch sein Haken selbst weiterentwickeln kann. Vorab lesen: Über die Referenten: Amit Sharma baut ein KI-Labor auf, das sich auf Cybersicherheit und selbstverbessernde KI-Systeme konzentriert. Er verbrachte das letzte Jahrzehnt bei Microsoft Research, wo er an KI-Denken und kausaler Inferenz arbeitete. Seine Arbeiten führten zu grundlegenden Beiträgen für kausales Denken, mit Anwendungen zur Verbesserung der Verallgemeinerung, Erklärbarkeit und Denkfähigkeiten von KI-Systemen. Er entwickelte den DiCE-Algorithmus für kontrafaktische Erklärungen und Widerlegungsmethoden zur Bewertung kausaler Schätzungen, die sowohl in der Wissenschaft als auch in der Industrie weit verbreitet sind. Amit ist auch Mitgründer von PyWhy, einem Open-Source-Ökosystem, das die Carnegie Mellon University, Microsoft, Amazon und andere umfasst, um skalierbare kausale ML-Tools voranzubringen. Online teilnehmen: meet.google.com\u002Fonq-amgt-pgz Ich freue mich darauf, Sie zu sehen!