SF Systems: Onderzoek naar Praktijk, van Inferentie-engines tot Multimodale Codering

De SF Systems Club is terug met een paar spannende lezingen van onderzoekers die geavanceerde wetenschap naar de echte wereld brengen! Of je nu een doorgewinterde inferentie-expert of een enthousiaste programmeertaal-liefhebber bent, je zult veel leren tijdens deze bijeenkomst. Deze bijeenkomst wordt genereus gehost door LatchBio in hun kantoor in San Francisco. Eten en drinken zullen worden verzorgd! Agenda Lezingen Shreya Shankar (CMU): Domeinspecifieke LLM Inferentie voor AI-SQL Databasengebruikers hebben lang gewild dat ze ongestructureerde tekst konden doorzoeken, en LLM's hebben dit eindelijk mogelijk gemaakt. Grote leveranciers ondersteunen nu AI-SQL, wat AI-gestuurde filters, joins, maps en classifiers aan SQL toevoegt. Om AI-SQL-query's uit te voeren, verlagen databases deze queries naar plannen met één LLM-aanroep per rij, of, voor joins, per tuple in een kruisproduct. Zelfs na query-optimalisatie kunnen er honderden duizenden, of miljoenen, aanroepen overblijven! In theorie zouden inferentie-engines fantastisch moeten zijn voor deze werklast, omdat elke aanroep bijna volledig prefill is en slechts een paar tokens retourneert. Verrassend genoeg nemen algemeen doel inferentie-engines veel langer dan verwacht, omdat hun KV-caches niet weten welke onderdelen van de query opnieuw gebruikt zullen worden, en het verwerken van zoveel verzoeken voegt hoge overhead op de host toe. We gebruiken deze beperkingen om Quail te motiveren, een open-source query-engine voor AI-SQL die ons lab aan het bouwen is. We beschrijven Quail's planner en uitvoeringsengine, tonen veelbelovende voorlopige resultaten en eindigen met enkele spannende open problemen (en, een oproep om hulp van inferentie-experts). Parker Zeigler (UC Berkeley): Interactieve, Multimodale Programmeren Systemen De overgrote meerderheid van programmeersystemen biedt ontwikkelaars één modaliteit voor het schrijven van code: tekst bewerken. Tekstbewerking is opmerkelijk expressief, maar voor programmeerdomeinen met rijke visuele outputs — zoals datavisualisatie, graphics en beeldverwerking — mist het de live feedback en directe manipulatiemogelijkheden die schitteren in tools zoals Figma, Photoshop of Blender. Hoe kunnen we programmeersystemen ontwerpen die de beste elementen van tekstbewerking combineren met directe manipulatie, natuurlijke taal en andere invoermodaliteiten, zodat ontwikkelaars de juiste modaliteit voor het moment kunnen gebruiken? Deze lezing zal verschillende systemen benadrukken uit mijn PhD-onderzoek dat deze vraag verkent, met bijzondere aandacht voor hoe zowel oude als nieuwe ideeën uit compileronderzoek effectief kunnen worden overgedragen naar nieuwe soorten interactieve, multimodale programmeersystemen.