Zelfverbeterende AI-systemen bouwen

Naarmate grote taalmodellen worden toegepast op complexe domeinen, verschuift de grens van modellen die eenmaal zijn getraind naar zelfverbeterende systemen. Amit zal zelfverbetering ontleden in drie assen: omgevingsgeneratie, RL-training en evolutie van de harnas, inclusief verificators en geheugen. Voor de eerste twee zal hij uitvoerbare tegenfeitelijke gevallen presenteren, een kader dat tegenfeitelijke redenering als code operationaliseert, wat schaalbare generatie van RL-omgevingen met controleerbare moeilijkheidsgraad en verifieerbare antwoorden mogelijk maakt. RL-training in deze omgevingen induceert de kern gedragingen van tegenfeitelijke redenering - abductie, interventie en voorspelling en, in tegenstelling tot gesuperviseerde fine-tuning, generaliseert het naar nieuwe codestructuren en wiskundige tekstproblemen buiten het domein. Aan de harnaskant zal Amit interwhen presenteren, dat natuurlijke-taalbeleid compileert in formele verificators die elke stap van de redenering van een agent tijdens runtime certificeren, wat de pass^4-betrouwbaarheid van een 30B open-gewichtmodel op τ²-bench Telecom van 32% naar 87% verhoogt. Deze assen vormen een enkele zelfverbeteringslus en presenteren een centrale onderzoeksvraag over hoe RL gezamenlijk kan worden uitgevoerd met de harnaskomponenten en zowel het model als zijn harnas zelf kan evolueren. Vooraf lezen: Over de sprekers: Amit Sharma bouwt een AI-laboratorium dat zich richt op cyberbeveiliging en zelfverbeterende AI-systemen. Hij heeft het afgelopen decennium bij Microsoft Research doorgebracht, waar hij werkte aan AI-redenering en causale inferentie. Zijn werk heeft geleid tot fundamentele bijdragen aan causale redenering, met toepassingen voor het bevorderen van de generalisatie, uitlegbaarheid en redeneringscapaciteiten van AI-systemen. Hij ontwikkelde het DiCE-algoritme voor tegenfeitelijke verklaring en weerspreking methoden voor het evalueren van causale schattingen, die wijdverbreid zijn aangenomen in zowel de academische wereld als de industrie. Amit is ook mede-oprichter van PyWhy, een open-source ecosysteem waarin Carnegie Mellon University, Microsoft, Amazon en anderen betrokken zijn om schaalbare causale ML-tools te bevorderen. Neem online deel: meet.google.com\u002Fonq-amgt-pgz We kijken ernaar uit je te zien!