Tianyi Alex Qiu | Computando a Preferência Ideal Humana, Quebrando os Ciclos de Retroalimentação da IA

Grupo de Computação do Foresight Institute Computando a Preferência Ideal Humana, Quebrando os Ciclos de Retroalimentação da IAResumo: Como um sistema de IA deve ajudar alguém cujas crenças e preferências ainda estão se formando sob a influência de tais sistemas de IA? Abordagens clássicas baseadas em aprendizado de preferências e aprendizado por reforço inverso frequentemente confundem preferências transitórias/instrumentais (por exemplo, dinheiro) com as estáveis/terminais (por exemplo, bem-estar). As últimas são estacionárias, enquanto as primeiras mudam ao longo do tempo. Ao assumir a estacionaridade de ambas, métodos clássicos demonstram reforçar crenças e preferências transitórias/instrumentais do principal humano, das quais eles se arrependeriam posteriormente. Para evitar esse problema, removemos a suposição de estacionaridade e propomos o objetivo alternativo de aprender a preferência ideal do humano, ou seja, o estado de crença/preferência do humano que é maximamente estável após reflexão suficiente e diante da contra-persuão socrática. Mostramos como esse alvo pode ser formalizado e computado na prática, ao treinar assistentes de modelos de linguagem. Bio: Tianyi co-lidera a Prevail, um grupo independente que aborda o empoderamento epistêmico. Eles desenvolvem intervenções de treinamento/avaliação (frequentemente com humanos no processo) e medidas sistêmicas, visando modos de falha como o bloqueio de valor a longo prazo e possibilitando bons resultados como progresso moral/conhecimento. Tianyi é pesquisador no Oxford HAI Lab, estudante de doutorado do 0º ano em Stanford CS, e ex-bolsista de Segurança de IA da Anthropic. Projetos de pesquisa que ele liderou receberam dois Prêmios de Melhor Artigo: um na ACL'25 e um no Workshop de Alinhamento Pluralista da NeurIPS'24. https://tianyiqiu.net/ Grupo de Computação Um grupo de cientistas, engenheiros e empreendedores em ciência da computação, ML, criptografia e áreas relacionadas que utilizam essas tecnologias para melhorar a cooperação voluntária entre humanos e, em última análise, IAs. Link do Zoom: https://us02web.zoom.us/j/81623367983