SF-Systeme: Forschung in die Praxis, von Inferenzmaschinen zu multimodaler Codierung

Der SF-Systems-Club ist mit einer Reihe spannender Vorträge von Forschern zurück, die hochmoderne Wissenschaft in die reale Welt bringen! Egal, ob Sie ein erfahrener Inferenzexperte oder ein Enthusiast von Programmiersprachen sind, Sie werden bei diesem Treffen viel lernen. Dieses Treffen wird großzügig von LatchBio in ihrem Büro in San Francisco ausgerichtet. Essen und Getränke werden bereitgestellt! Agenda Vorträge Shreya Shankar (CMU): Domänenspezifische LLM-Inferenz für AI-SQL Datenbankbenutzer haben schon lange gewünscht, unstrukturierte Texte abzufragen, und LLMs haben dies endlich möglich gemacht. Große Anbieter unterstützen jetzt AI-SQL, das KI-gesteuerte Filter, Joins, Karten und Klassifizierer zu SQL hinzufügt. Um AI-SQL-Abfragen auszuführen, senken Datenbanken diese Abfragen in Pläne mit einem LLM-Aufruf pro Zeile oder, für Joins, pro Tupel im Kreuzprodukt. Selbst nach der Abfrageoptimierung können Hunderte von Tausenden oder Millionen von Aufrufen verbleiben! Theoretisch sollten Inferenzmaschinen bei dieser Arbeitslast fantastisch sein, denn jeder Aufruf besteht fast vollständig aus Vorbefüllung und gibt nur wenige Token zurück. Überraschenderweise benötigen allgemeine Inferenzmaschinen viel länger als erwartet, da ihre KV-Caches nicht wissen, was die Abfrage wiederverwendet, und die Verarbeitung so vieler Anfragen hohe Hostüberlastungen hinzufügt. Wir verwenden diese Einschränkungen, um Quail zu motivieren, eine Open-Source-Abfragemaschine für AI-SQL, die unser Labor aufbaut. Wir beschreiben den Planer und die Ausführungsmaschine von Quail, zeigen vorläufige spannende Ergebnisse und enden mit einigen interessanten offenen Problemen (und einem Aufruf um Hilfe von Inferenzexperten). Parker Zeigler (UC Berkeley): Interaktive, multimodale Programmiersysteme Die überwiegende Mehrheit der Programmiersysteme bietet Entwicklern eine Modalität zur Codierung: Textbearbeitung. Die Textbearbeitung ist bemerkenswert ausdrucksstark, aber für Programmierdomänen mit reichhaltigen visuellen Ausgaben — wie Datenvisualisierung, Grafik und Bildverarbeitung — fehlt es an den Echtzeit-Feedback- und direkten Manipulationsmöglichkeiten, die in Tools wie Figma, Photoshop oder Blender glänzen. Wie können wir Programmiersysteme entwerfen, die die besten Elemente der Textbearbeitung mit direkter Manipulation, natürlicher Sprache und anderen Eingabemodalitäten vereinen, sodass Entwickler die richtige Modalität für den jeweiligen Moment nutzen können? Dieser Vortrag wird mehrere Systeme aus meiner Doktorarbeit beleuchten, die diese Frage erforschen, mit besonderem Fokus darauf, wie sowohl alte als auch neue Ideen aus der Compilerforschung effektiv auf neue Arten interaktiver, multimodaler Programmiersysteme übertragen werden können.