SF Systems: De la investigación a la práctica, de los motores de inferencia a la codificación multimodal

¡El Club SF Systems ha vuelto con un par de emocionantes charlas de investigadores que están llevando la ciencia de vanguardia al mundo real! Ya seas un experto en inferencia experimentado o un entusiasta de los lenguajes de programación, aprenderás mucho en este evento. Este encuentro es generosamente alojado por LatchBio en su oficina de San Francisco. ¡Se proporcionarán comida y bebidas! Agenda Charlas Shreya Shankar (CMU): Inferencia LLM específica del dominio para AI-SQL Los usuarios de bases de datos han querido durante mucho tiempo consultar texto no estructurado, y los LLM finalmente han hecho esto posible. Los principales proveedores ahora admiten AI-SQL, que agrega filtros, uniones, mapas y clasificadores impulsados por IA a SQL. Para ejecutar consultas de AI-SQL, las bases de datos convierten estas consultas en planes con una llamada LLM por fila, o, para uniones, por tupla en un producto cruzado. ¡Incluso después de la optimización de consultas, cientos de miles, o millones, de llamadas pueden permanecer! En teoría, los motores de inferencia deberían ser fantásticos para esta carga de trabajo, porque cada llamada es casi completamente prellenada y solo devuelve unos pocos tokens. Sorprendentemente, los motores de inferencia de propósito general tardan mucho más de lo esperado, porque sus cachés KV no saben qué reutilizará la consulta, y procesar tantas solicitudes añade una alta sobrecarga al anfitrión. Utilizamos estas limitaciones para motivar a Quail, un motor de consulta de código abierto para AI-SQL que nuestro laboratorio está construyendo. Describimos el planificador y el motor de ejecución de Quail, mostramos resultados preliminares emocionantes y terminamos con algunos problemas abiertos interesantes (y, un llamado a la ayuda de expertos en inferencia). Parker Zeigler (UC Berkeley): Sistemas de programación interactivos y multimodales La gran mayoría de los sistemas de programación ofrecen a los desarrolladores una modalidad para escribir código: editar texto. La edición de texto es notablemente expresiva, pero para dominios de programación con salidas visuales ricas —como la visualización de datos, gráficos y procesamiento de imágenes— carece de las capacidades de retroalimentación en vivo y manipulación directa que brillan en herramientas como Figma, Photoshop o Blender. ¿Cómo podemos diseñar sistemas de programación que unifiquen los mejores elementos de la edición de texto con la manipulación directa, el lenguaje natural y otras modalidades de entrada, permitiendo a los desarrolladores usar la modalidad adecuada para el momento? Esta charla destacará varios sistemas de mi investigación de doctorado explorando esta cuestión, con un enfoque particular en cómo tanto las ideas antiguas como las nuevas de la investigación en compiladores pueden transferirse eficazmente a nuevos tipos de sistemas de programación interactivos y multimodales.