Systèmes SF : De la recherche à la pratique, des moteurs d'inférence au codage multimodal

Le Club des Systèmes SF est de retour avec une paire de conférences passionnantes présentées par des chercheurs qui concrétisent la science de pointe dans le monde réel ! Que vous soyez un expert en inférence chevronné ou un passionné de langages de programmation, vous apprendrez beaucoup lors de cet évènement. Cette rencontre est généreusement accueillie par LatchBio dans leurs bureaux de San Francisco. De la nourriture et des boissons seront fournies ! Agenda Conférences Shreya Shankar (CMU) : Inférence LLM spécifique au domaine pour AI-SQL Les utilisateurs de bases de données ont longtemps souhaité interroger des textes non structurés, et les LLM ont finalement rendu cela réalisable. Les principaux fournisseurs prennent désormais en charge l'AI-SQL, qui ajoute des filtres, des jointures, des cartes et des classificateurs alimentés par IA à SQL. Pour exécuter les requêtes AI-SQL, les bases de données décomposent ces requêtes en plans avec un appel LLM par ligne, ou, pour les jointures, par tuple dans un produit cartésien. Même après l'optimisation des requêtes, des centaines de milliers, voire des millions, d'appels peuvent encore rester ! En théorie, les moteurs d'inférence devraient être fantastiques pour cette charge de travail, car chaque appel est presque entièrement pré-rempli et ne renvoie que quelques tokens. Étonnamment, les moteurs d'inférence à usage général prennent beaucoup plus de temps que prévu, car leurs caches KV ne savent pas quelles requêtes seront réutilisées, et le traitement d'un si grand nombre de requêtes entraîne un coût d'hébergement élevé. Nous utilisons ces limitations pour motiver Quail, un moteur de requête open source pour AI-SQL que notre laboratoire est en train de construire. Nous décrivons le planificateur et le moteur d'exécution de Quail, montrons des résultats préliminaires passionnants, et terminons avec quelques problèmes ouverts intéressants (et, une demande d'aide de la part d'experts en inférence). Parker Zeigler (UC Berkeley) : Systèmes de programmation interactifs et multimodaux La grande majorité des systèmes de programmation offrent aux développeurs une seule modalité pour écrire du code : l'édition de texte. L'édition de texte est remarquablement expressive, mais pour des domaines de programmation avec des sorties visuelles riches — comme la visualisation de données, les graphiques et le traitement d'images — elle manque de rétroaction en temps réel et de capacités de manipulation directe qui brillent dans des outils comme Figma, Photoshop ou Blender. Comment pouvons-nous concevoir des systèmes de programmation qui unifient les meilleurs éléments de l'édition de texte avec la manipulation directe, le langage naturel et d'autres modalités d'entrée, permettant aux développeurs d'utiliser la modalité appropriée pour le moment ? Cette conférence mettra en lumière plusieurs systèmes issus de mes recherches de doctorat explorant cette question, avec un accent particulier sur la manière dont des idées anciennes et nouvelles issues de la recherche sur les compilateurs peuvent être transférées efficacement à de nouveaux types de systèmes de programmation interactifs et multimodaux.