SF Systems: Badania do praktyki, od silników wnioskowania do kodowania multimodalnego

Klub SF Systems wraca z parą ekscytujących wystąpień od badaczy, którzy wprowadzają nowoczesną naukę do realnego świata! Niezależnie od tego, czy jesteś doświadczonym ekspertem wnioskowania, czy entuzjastą języków programowania, na pewno wiele się nauczysz podczas tego spotkania. To spotkanie jest hojnym gospodarstwem LatchBio w ich biurze w San Francisco. Jedzenie i napoje będą zapewnione! Agenda Wystąpienia Shreya Shankar (CMU): Specyficzna dla domeny LLM wnioskowanie dla AI-SQL Użytkownicy baz danych od dawna pragną zapytać o niestrukturalny tekst, a LLM w końcu to umożliwiły. Główni dostawcy teraz wspierają AI-SQL, który dodaje zasilane AI filtry, łączenia, mapy i klasyfikatory do SQL. Aby wykonać zapytania AI-SQL, bazy danych przetwarzają te zapytania na plany z jednym wywołaniem LLM na wiersz lub, dla łączeń, na krotkę w iloczynie kartezjańskim. Nawet po optymalizacji zapytań, setki tysięcy, lub miliony wywołań mogą pozostać! W teorii, silniki wnioskowania powinny świetnie radzić sobie z tym obciążeniem, ponieważ każde wywołanie jest prawie całkowicie wypełnione z przodu i zwraca tylko kilka tokenów. Zaskakująco, ogólnodostępne silniki wnioskowania zajmują dużo więcej czasu, niż się spodziewano, ponieważ ich pamięci podręczne KV nie wiedzą, co zapytanie ponownie wykorzysta, a przetwarzanie tak wielu żądań zwiększa wysokie obciążenie hosta. Wykorzystujemy te ograniczenia, aby zmotywować Quail, silnik zapytań open source dla AI-SQL, który buduje nasze laboratorium. Opisujemy planer i silnik wykonawczy Quail, pokazujemy wstępne ekscytujące wyniki i kończymy kilkoma ekscytującymi problemami otwartymi (i prośbą o pomoc od ekspertów wnioskowania). Parker Zeigler (UC Berkeley): Interaktywne, multimodalne systemy programowania Znaczna większość systemów programowania daje deweloperom jedną modalność do pisania kodu: edytowanie tekstu. Edytowanie tekstu jest niezwykle ekspresyjne, ale dla obszarów programowania z bogatymi wizualnymi outputami — takich jak wizualizacja danych, grafika i przetwarzanie obrazu — brakuje tego natychmiastowego sprzężenia zwrotnego i możliwości bezpośredniej manipulacji, które są doskonałe w narzędziach takich jak Figma, Photoshop czy Blender. Jak możemy zaprojektować systemy programowania, które łączą najlepsze elementy edytowania tekstu z bezpośrednią manipulacją, językiem naturalnym i innymi modalnościami wejścia, pozwalając deweloperom używać odpowiedniej modalności w danym momencie? To wystąpienie podkreśli kilka systemów z moich badań doktoranckich, które badają to pytanie, ze szczególnym uwzględnieniem, jak zarówno stare, jak i nowe pomysły z badań nad kompilatorami mogą efektywnie przenieść się do nowych rodzajów interaktywnych, multimodalnych systemów programowania.