Tianyi Alex Qiu | Obliczanie Idealnych Preferencji Ludzkich, Przełamywanie Pętli Zwrotnych AI

Grupa Obliczeniowa Instytutu Foresight Obliczanie Idealnych Preferencji Ludzkich, Przełamywanie Pętli Zwrotnych AIStreszczenie: Jak powinien system AI wspierać kogoś, czyje przekonania i preferencje wciąż się formują pod wpływem takich systemów AI? Klasyczne podejścia oparte na uczeniu preferencji i odwrotnym uczeniu wzmocnienia często mylą transientne/podstawowe preferencje (np. pieniądze) z stabilnymi/ostatecznymi (np. dobrostanem). Te drugie są stacjonarne, podczas gdy te pierwsze zmieniają się z upływem czasu. Zakładając stacjonarność obu, klasyczne metody osadzają transientne/podstawowe przekonania i preferencje ludzkiego głównego uczestnika, które w przeciwnym razie by żałował. Aby uniknąć tego problemu, usuwamy założenie stacjonarności i proponujemy alternatywny cel polegający na uczeniu idealnej preferencji człowieka, tzn. stanu przekonania/preferencji człowieka, który jest maksymalnie stabilny po wystarczającej refleksji i w obliczu sokratejskiej kontrapersuazji. Pokazujemy, jak ten cel może być sformalizowany i obliczany w praktyce, podczas treningu asystentów modelu językowego. Bio: Tianyi współkieruje Prognozowaniem, niezależną grupą zajmującą się epistemicznym osłabieniem. Opracowują interwencje szkoleniowe / ewaluacyjne (często z ludźmi w pętli) oraz systemowe środki, skierowane na tryby awarii, takie jak blokada wartości długoterminowych i umożliwiające dobre wyniki, takie jak postęp moralny / wiedzy. Tianyi jest badaczem w Oxford HAI Lab, studentem pierwszego roku doktoratu na Stanfordzie w CS i byłym stypendystą bezpieczeństwa AI w Anthropic. Projekty badawcze, które prowadził, otrzymały dwie Nagrody za Najlepszy Artykuł: jedną na ACL'25 i jedną na Warsztatach Pluralistic Alignment NeurIPS'24. https://tianyiqiu.net/ Grupa Obliczeniowa Grupa naukowców, inżynierów i przedsiębiorców zajmujących się informatyką, ML, kryptografią i pokrewnymi dziedzinami, którzy wykorzystują te technologie do poprawy dobrowolnej współpracy między ludźmi, a ostatecznie między AI. Link do Zoom: https://us02web.zoom.us/j/81623367983