Discussão de artigo de pesquisa

Discussão do artigo sobre Interpretabilidade Mecânica - Identificando Conceitos e Algoritmos Interpretabis por Humanos em LLMs Leia algumas das manchetes de IA das últimas semanas. Se você ainda acha que a interpretabilidade e a melhoria do nosso entendimento sobre LLMs não são importantes, leia-as novamente. Em geral, a interpretabilidade mecânica visa descobrir, entender e verificar os algoritmos que os pesos do modelo implementam por meio da engenharia reversa da computação do modelo em componentes entendíveis por humanos. Especificamente, queremos olhar para o artigo Interpretability in the Wild nesta sessão (https://openreview.net/pdf?id=NpsVSN6o4ul). Ele identifica um circuito para a identificação de objetos indiretos no modelo GPT-2 pequeno e tem sido uma prova de conceito real influente na área. Antes da sessão, por favor, leia o artigo (https://openreview.net/pdf?id=NpsVSN6o4ul). Quanto mais perguntas você tiver após a leitura, mais produtiva será a sessão! Você também pode dar uma olhada neste capítulo de curso de interpretabilidade mais prático sobre o mesmo artigo: https://learn.arena.education/chapter1_transformer_interp/21_ioi/intro.