Jak wdrożyć architekturę wielomodelową

Przez ostatnie kilka lat firmy zwracały się ku dużym modelom frontier do budowy swoich aplikacji AI, ponieważ mogły one zaspokoić większość przypadków użycia i były jedynymi dostępnymi opcjami na dużą skalę. Ale ten świat szybko się zmienia, a dziś zespoły dostarczające najlepsze produkty AI coraz częściej sięgają po mniejsze, wyspecjalizowane modele, ponieważ przewyższają one ogólne modele w realizacji podstawowych zadań, są często znacznie szybsze i mogą być wdrażane za ułamek kosztów. Niektóre powszechne przykłady, które nam przychodzą do głowy, to AI głosowe, które mogą odpowiadać w czasie rzeczywistym, szybkie pozyskiwanie informacji w dokumentach z danymi strukturalnymi, czy prognozy na podstawie tabel, na których opierają się firmy. Dołącz do Baseten i liderów z Gradium, Synthefy i Sid.ai na napoje, przekąski, ciekawe pokazy i szczere rozmowy o tym, dlaczego branża zmienia się w stronę świata wielomodelowego i jak Baseten może pomóc w jego zasilaniu. Zbieramy liderów z trzech laboratoriów budujących dla tego nowego świata: Panel będzie moderowany przez Bolę Malek, szefową Baseten dla Model Labs. Porozmawiają o tym, co ich modele robią, czego nie potrafi model ogólnego przeznaczenia, gdzie leży granica między specjalizacją a ogólnością oraz co jest potrzebne, aby efektywnie prowadzić flotę modeli w produkcji na dużą skalę. To wydarzenie jest organizowane przez Baseten — platformę do szkolenia i wnioskowania obsługującą niektóre z najbardziej wymagających obciążeń AI w produkcji, takich jak Abridge, Cursor, Notion i OpenEvidence. Większość z nich przynosi swoje własne modele. My sprawiamy, że są one szybkie.