Следы Рассуждений от Together Fund

Продолжаем нашу серию исследований салонов. Следы Рассуждений — это вечер Together, посвящённый углублённому обсуждению одной идеи в небольшой комнате с людьми, которые действительно её реализуют и исследуют. ПОЧЕМУ АЛИГНМЕНТ, ПОЧЕМУ СЕЙЧАС? Алигнмент — это проблема того, как заставить ИИ системы действительно делать то, что мы намерены, а не только то, что мы запросили. По мере роста возможностей моделей разрыв между «способным» и «согласованным» становится самой значительной открытой проблемой в этой области. Область сфокусировалась на четырех целях — Робустность, Интерпретируемость, Контролируемость, Этика (RICE) — и разделилась на два крупных направления: прямой алигнмент (обучение систем, чтобы обеспечить согласованность — RLHF, моделирование предпочтений, масштабируемый надзор за задачами, которые людям сложно контролировать) и обратный алигнмент (доказательство, что они действительно таковы — оценки безопасности, интерпретируемость, управление). Настоящий вопрос сейчас на повестке дня: когда модели начинают выполнять задачи, которые мы не можем эффективно контролировать, масштабируется ли алигнмент с возможностями — или тихо отстаёт от них? КТО БУДЕТ В КОМНАТЕ Исследователи, работающие над алигнментом, интерпретируемостью и оценками Основатели, работающие с передовыми моделями, которые ежедневно сталкиваются с этими компромиссами Самые проницательные инженеры, думающие о надзоре, тестировании и безопасности Любой, кто искренне заинтересован в том, как мы можем направить способные системы в правильное русло Ссылка на соответствующее предчтение - https://arxiv.org/abs/2310.19852 КАК ПРОДОЛЖАЕТСЯ ВЕЧЕР Мы открываем обсуждение, охватывая тему. Затем человек, более всего погружённый в неё, задаёт атмосферу — что реально, что они видят, какие открытые вопросы. После этого начинается открытая дискуссия: вы вмешиваетесь, высказываете своё мнение, дополняете. Это обсуждение, а не лекция. Свободная форма по замыслу; хорошие вещи происходят, когда комната мыслит совместно, а не когда кто-то читает лекцию с сцены. У нас ограниченное количество мест, чтобы обеспечить содержательную беседу, поэтому пожалуйста, регистрируйтесь заранее!