Обсуждение научной статьи

Обсуждение статьи по механистической интерпретируемости - идентификация концепций и алгоритмов, интерпретируемых человеком, в больших языковых моделях. Прочитайте некоторые заголовки новостей ИИ за последние недели. Если вы все еще считаете, что интерпретируемость и улучшение понимания больших языковых моделей не важны, прочитайте их снова. В общем, механистическая интерпретируемость направлена на то, чтобы открыть, понять и проверить алгоритмы, реализуемые весами модели, путем обратного проектирования вычислений модели в компоненты, понятные человеку. В частности, мы хотим рассмотреть статью «Интерпретируемость в дикой природе» на этой сессии (https://openreview.net/pdf?id=NpsVSN6o4ul). Она идентифицирует цепочку для косвенной идентификации объектов в малой модели GPT-2 и стала влиятельным практическим примером в этой области. Прежде чем на сессию, пожалуйста, прочитайте статью (https://openreview.net/pdf?id=NpsVSN6o4ul). Чем больше у вас вопросов после прочтения, тем более продуктивной будет сессия! Вы также можете обратить внимание на эту более практическую главу курса по интерпретируемости на ту же тему: https://learn.arena.education/chapter1_transformer_interp/21_ioi/intro.