Discussion de papier de recherche

Discussion du papier sur l'interprétabilité mécaniste - Identification des concepts et algorithmes interprétables par l'homme dans les LLMs Lisez quelques-uns des titres de l'IA des dernières semaines. Si vous pensez encore que l'interprétabilité et l'amélioration de notre compréhension des LLMs ne sont pas importantes, relisez-les. En général, l'interprétabilité mécaniste vise à découvrir, comprendre et vérifier les algorithmes que les poids du modèle mettent en œuvre en rétro-ingénierie le calcul du modèle en composants compréhensibles par l'homme. Pour être plus précis, nous voulons examiner le papier 'Interpretability in the Wild' lors de cette session (https://openreview.net/pdf?id=NpsVSN6o4ul). Il identifie un circuit pour l'identification des objets indirects dans le modèle GPT-2 petit, et a été une preuve de concept influente dans le domaine. Avant la session, veuillez lire le papier (https://openreview.net/pdf?id=NpsVSN6o4ul). Plus vous aurez de questions après la lecture, plus la session sera productive ! Vous pouvez également jeter un œil à ce chapitre de cours sur l'interprétabilité plus pratique sur le même papier : https://learn.arena.education/chapter1_transformer_interp/21_ioi/intro.