SF Systems: Pesquisa para Prática, de Motores de Inferência a Codificação Multimodal

O SF Systems Club está de volta com uma dupla de palestras empolgantes de pesquisadores que estão trazendo ciência de ponta para o mundo real! Seja você um especialista em inferência experiente ou um entusiasta de linguagens de programação, você aprenderá muito neste encontro. Este meetup é generosamente hospedado pela LatchBio em seu escritório em San Francisco. Comida e bebidas serão fornecidas! Agenda Palestras Shreya Shankar (CMU): Inferência LLM Específica de Domínio para AI-SQL Os usuários de banco de dados há muito desejam consultar textos não estruturados, e os LLMs finalmente tornaram isso viável. Fornecedores importantes agora suportam AI-SQL, que adiciona filtros, junções, mapas e classificadores alimentados por IA ao SQL. Para executar consultas AI-SQL, os bancos de dados reduziriam essas consultas a planos com uma chamada LLM por linha ou, para junções, por tupla em um produto cartesiano. Mesmo após a otimização da consulta, centenas de milhares ou milhões de chamadas podem permanecer! Em teoria, motores de inferência deveriam ser fantásticos para essa carga de trabalho, porque cada chamada é quase inteiramente pré-preenchida e retorna apenas alguns tokens. Surpreendentemente, motores de inferência de propósito geral demoram muito mais do que o esperado, porque seus caches KV não sabem o que a consulta reutilizará, e processar tantas solicitações adiciona uma alta sobrecarga no host. Usamos essas limitações para motivar o Quail, um motor de consulta de código aberto para AI-SQL que nosso laboratório está construindo. Descrevemos o planejador e o motor de execução do Quail, mostramos resultados preliminares empolgantes e terminamos com alguns problemas abertos intrigantes (e um apelo por ajuda de especialistas em inferência). Parker Zeigler (UC Berkeley): Sistemas de Programação Interativos e Multimodais A vasta maioria dos sistemas de programação oferece aos desenvolvedores uma modalidade para escrever código: editar texto. A edição de texto é notavelmente expressiva, mas para domínios de programação com saídas visuais ricas — como visualização de dados, gráficos e processamento de imagens — falta o feedback ao vivo e as capacidades de manipulação direta que se destacam em ferramentas como Figma, Photoshop ou Blender. Como podemos projetar sistemas de programação que unifiquem os melhores elementos da edição de texto com manipulação direta, linguagem natural e outras modalidades de entrada, permitindo que os desenvolvedores usem a modalidade certa para o momento? Esta palestra destacará vários sistemas da minha pesquisa de doutorado explorando essa questão, com foco particular em como tanto ideias antigas quanto novas da pesquisa em compiladores podem ser transferidas de forma eficaz para novos tipos de sistemas de programação interativos e multimodais.