AI Journal Club ft. Google + NVIDIA

Nehmen Sie an Workatos AI Journal Club-Serie teil – wir bringen die besten KI-Forscher zusammen, um Artikel zu teilen und Perspektiven auszutauschen, wie die KI-Forschung reale Systeme gestaltet. Zeitplan: 17:30–18:00 Uhr: Check-in und Registrierung 18:00–18:15 Uhr: Willkommen bei Workato 18:15–18:45 Uhr: Vortrag von Allen Chuang (Google) 18:45–19:00 Uhr: Q&A 19:00–19:30 Uhr: Vortrag von Ray Liu (NVIDIA) 19:30–19:45 Uhr: Q&A 19:45–20:30 Uhr: Networking Bitte erscheinen Sie bis 18:00 Uhr. Wir bitten höflich darum, dass die Teilnehmer zu dieser Zeit erscheinen, aus Respekt für unseren Redner. Sitzungen: Allen Chuang — Die Dynamik des LLM-Reasoning zähmen: Testzeitexploration, Dateneinteilung und On-Policy-Destillation. Die Skalierung der Denkfähigkeiten in großen Sprachmodellen (LLMs) erfordert das Navigieren komplexer Optimierungs- und Suchdynamiken sowohl während der Inferenz als auch nach dem Training. Moderne Denkpipelines leiden jedoch unter kritischen Ineffizienzen im gesamten Lebenszyklus des Modells: Die Dekodierung zur Testzeit verschwendet Rechenleistung für redundante Suchtrajektorien, Reinforcement Learning (RL) kämpft mit einheitlicher Datenaufteilung und die on-policy Destillation unterliegt häufig katastrophalen Trennungszusammenbrüchen, die durch Längeninflation ausgelöst werden. In diesem Vortrag werde ich eine einheitliche Perspektive zur Verständigung und Zähmung von Denkdynamiken präsentieren. Zuerst untersuchen wir die Suche zur Inferenzzeit und zeigen, wie Decoding Tree Sketching (DTS) eine strukturierte Erkundung und vorzeitige Beendigung an Entscheidungstokens ermöglicht, um redundante Rollouts ohne Retraining zu eliminieren. Als Nächstes wenden wir uns der Optimierung nach dem Training zu und zeigen, wie Adaptive Data Scheduling (ADS) semantisches Clustering und die Auswahl von Politikgrenzen nutzt, um die LLM RL-Lehrpläne dynamisch zu steuern. Schließlich analysieren wir die Fehlermodi der On-Policy-Destillation und führen StableOPD ein, um die Trajektorienexplosion zu unterdrücken und die Destillationsstabilität wiederherzustellen. Zusammen bieten diese Methoden praktische Mechanismen für den Aufbau effizienter, robuster und skalierbarer LLM-Denkpipelines. Ray Liu (NVIDIA) — Sitzung TBD Vortragender: Allen Chuang — Yu-Neng (Allen) Chuang ist Forschungswissenschaftler bei Google DeepMind. Er arbeitet an der Entwicklung zuverlässiger und effizienter agentischer Systeme für LLMs durch fortgesetztes Pre-Training und Post-Training. Er promovierte in Informatik an der Rice University. Seine Forschung konzentriert sich auf LLM-Reasoning, Post-Training und agentische Systeme, mit dem Ziel, skalierbare und zuverlässige KI-Systeme für Anwendungen in der realen Welt zu entwickeln. Seine Arbeiten wurden in führenden KI- und maschinellen Lernforen veröffentlicht, darunter ICML, ICLR und NeurIPS, und wurde mehrfach ausgezeichnet, darunter ein ICML Spotlight, eine CIKM Best Demo Paper Honorary Mention und eine Nominierung für den NAACL Best Paper Award. Ray Liu (NVIDIA). Wer sollte teilnehmen: KI-Forscher und Praktiker, die an der Schnittstelle zwischen KI-Forschung und realen Systemen arbeiten. Gastgeber Über Workato: Workato ist das Enterprise MCP Unternehmen und bietet die verbindende Schicht, die KI-Agenten sicheren, regulierten Zugriff auf Unternehmenssysteme und Daten ermöglicht. Basierend auf einem Jahrzehnt an Integrationsexpertise, die über 14.000 Anwendungen reicht, ermöglicht die Plattform von Workato Organisationen, von einfacher Automatisierung zu agentischer KI überzugehen, die reasoning, handeln und Arbeit im gesamten Unternehmen orchestrieren kann. Sie können die End-to-End-Fähigkeiten von Workato hier in unserem Entwicklersandbox erkunden.