Tianyi Alex Qiu | Computación de la Preferencia Ideal Humana, Rompiendo los Ciclos de Retroalimentación de la IA

Grupo de Cómputo del Foresight InstituteComputación de la Preferencia Ideal Humana, Rompiendo los Ciclos de Retroalimentación de la IAResumen: ¿Cómo debería un sistema de IA ayudar a alguien cuyas creencias y preferencias aún se están formando mientras está bajo la influencia de dichos sistemas de IA? Los enfoques clásicos basados en el aprendizaje de preferencias y en el aprendizaje por refuerzo inverso a menudo confunden preferencias transitorias/instrumentales (por ejemplo, el dinero) con preferencias estables/terminales (por ejemplo, el bienestar). Las últimas son estacionarias mientras que las primeras cambian con el tiempo. Al asumir la estacionaridad de ambas, se muestra que los métodos clásicos sedimentan creencias y preferencias transitorias/instrumentales del principal humano, de las que podrían arrepentirse en el futuro. Para evitar este problema, eliminamos la suposición de estacionaridad y proponemos el objetivo alternativo de aprender la preferencia ideal del humano, es decir, el estado de creencias/preferencias humanas que es máxima estable tras suficiente reflexión y frente a la contra-persuasión socrática. Mostramos cómo este objetivo puede ser formalizado y calculado en la práctica, al entrenar asistentes de modelos de lenguaje.Biografía: Tianyi co-lidera Prevail, un grupo independiente que aborda el empoderamiento epistémico. Desarrollan intervenciones de entrenamiento/evaluación (a menudo con humanos en el proceso) y medidas sistémicas, dirigidas a modos de fallo como el bloqueo de valor a largo plazo y habilitando buenos resultados como el progreso moral/conocimiento. Tianyi es investigador en el Oxford HAI Lab, estudiante de doctorado de primer año en Stanford CS, y ex becario de Seguridad en IA de Anthropic. Los proyectos de investigación que lideró han recibido dos premios al Mejor Artículo: uno en ACL'25 y otro en el Taller de Alineación Pluralista de NeurIPS'24. https://tianyiqiu.net/Grupo de CómputoUn grupo de científicos, ingenieros y emprendedores en ciencias de la computación, ML, criptografía y campos relacionados que aprovechan esas tecnologías para mejorar la cooperación voluntaria entre humanos, y en última instancia, entre IAs.Enlace de Zoom: https://us02web.zoom.us/j/81623367983