Kunnen agenten zichzelf echt verbeteren?

Een praktische avond waarin we een agent bouwen die aantoonbaar beter wordt: simuleer de randgevallen, scoor tegen evaluaties en controleer elke release zodat de volgende versie alleen wordt uitgebracht als deze beter is dan de vorige. Je gaat naar huis met de lus, gebouwd op open-source tools, draaiend op een laptop. Evenementdetails "Zelfverbeterende agenten" doet momenteel veel werk in pitch decks. Een deel is echt, veel is het niet, en deze avond scheidt de twee door de echte versie voor je te bouwen. We zullen samen de echte versie live bouwen om het verschil te laten zien. Voordat iets in productie gaat, simuleren we synthetische gebruikers en adversariale scenario's om te ontdekken waar de agent faalt, scoren we die runs tegen evaluaties en voeden we de mislukkingen terug in. De evaluatie wordt de poort: niets wordt verzonden tenzij de cijfers de juiste kant op bewegen. Daarna houden we het draaiende, routeren we productieverkeer terug via dezelfde evaluaties zodat regressies als dalende scores verschijnen in plaats van ondersteuningsverzoeken. Volledige recursieve zelfverbetering is nog steeds een open onderzoeksprobleem en we zullen niet doen alsof dat anders is, maar de begrensde versie is vandaag de dag bouwbaar, op OpenTelemetry en open-source frameworks die je kunt forken en zelf-host. De workshop wordt geleid door Nikhil, oprichter en CEO van Future AGI, die de build live uitvoert, van begin tot eind. Hij besteedt zijn dagen aan het exacte probleem waar deze avond om draait: agenten betrouwbaar genoeg maken om in productie te vertrouwen, en meetbaar genoeg om te weten dat ze daadwerkelijk verbeteren. Neem een laptop mee om: Een baseline agent te instrumenteren met OpenTelemetry en zijn start evaluatiescores vast te leggen Synthetische gebruikers en adversariale scenario's te simuleren om het opzettelijk te breken De runs te scoren tegen evaluaties zodat mislukkingen cijfers worden, geen anekdotes De traceringen te lezen om de werkelijke oorzaak te vinden, niet te gokken op basis van de output De oplossingen terug te voeren, en dan opnieuw te simuleren om te bevestigen dat de scores zijn verbeterd De vracht te controleren: promoot een nieuwe versie alleen als deze beter is dan de vorige Routeer productieverkeer terug via dezelfde evaluaties om het te blijven verbeteren Agenda 17:30 - Snacks en hallo's 18:00 - Gastspreker (wordt aangekondigd) 19:00 - Live build: de zelfverbeteringslus die daadwerkelijk verzendt (breng een laptop mee) 19:30 - Open debat en Q&A: hype versus wat werkt 20:00 - Netwerken 20:30 - Tot de volgende iteratie Voor ingenieurs en AI-productbouwers die agenten in productie draaien en de versie willen die aantoonbaar verbetert, gebouwd op open tools die ze kunnen behouden. Over Pebblebed Pebblebed is een technische vroege fase VC opgericht door Pam Vagata (mede-oprichter van OpenAI, leidde AI voor Stripe, uitvinder van FBLearner Flow); Keith Adams (opgericht Facebook AI Research, was chief architect bij Slack, 20e ingenieur bij VMWare) en Tammie Siew (voormalig investeerder van Sequoia Southeast Asia, voormalig oprichter gefinancierd door Sequoia en Notable Capital) Over Future AGI Future AGI is een open-source AI-simulatie-, evaluatie- en observabiliteitsplatform. Teams gebruiken het om agenten te simuleren voordat ze worden verzonden, ze te scoren tegen echte faalmodi en ze te blijven volgen in productie zodat de kwaliteit in de loop van de tijd niet stilletjes verslechtert. Het is zelf-hostable en OpenTelemetry-native, met tracing dat in 35+ frameworks kan worden geïntegreerd. De lus die je vanavond bouwt draait op dezelfde open tooling, die je kunt forken en mee naar huis nemen, zonder dat een account vereist is.