Rahmensitzung: sicher zu schließen?

Beschreibung

sicher zu schließen: offen, geschlossen und was tatsächlich in der Produktion ist ein Sprachingenieur macht sich Sorgen um die Zeit bis zum ersten Token. ein Inhaltsingenieur sorgt sich um die Kosten pro Ausgabe. dasselbe Wort, Inferenz, völlig unterschiedliche Mathematik dahinter. dies ist ein kleines, technisches Nachmittags-Event für Ingenieure und Forscher, die tatsächlich Inferenzsysteme in der Produktion betreiben. zehn bis zwölf Personen, Betreiber, die die Kompromisse Tag für Tag spüren, plus Forscher, die an Terminierungs- und Kosten-Latenz-Problemen arbeiten und die das, womit Sie umgehen, mit dem verbinden können, woran tatsächlich gerade gearbeitet wird. wir beginnen mit verschiedenen Prioritätsmetriken, Latenz, Kosten, Auslastung, Rechenleistung und bauen ein gemeinsames Rahmenwerk live aus, wohin auch immer die Einsichten führen. samstag, 29. august, 14:30 Uhr