Dyskusja na temat artykułu naukowego

Dyskusja na temat mechanicznej interpretowalności - identyfikacja koncepcji i algorytmów zrozumiałych dla ludzi w LLM. Przeczytaj kilka nagłówków AI z ostatnich tygodni. Jeśli nadal uważasz, że interpretowalność i poprawa naszego zrozumienia LLM nie są ważne, przeczytaj je jeszcze raz. W ogólności, mechaniczna interpretowalność ma na celu odkrycie, zrozumienie i weryfikację algorytmów, które implementują wagi modeli poprzez inżynierię odwrotną obliczeń modelu w zrozumiałe dla ludzi komponenty. Konkretnie, chcemy przyjrzeć się artykułowi Interpretability in the Wild w tej sesji (https://openreview.net/pdf?id=NpsVSN6o4ul). Identyfikuje on obwód do identyfikacji obiektów pośrednich w małym modelu GPT-2 i stanowi wpływowy rzeczywisty dowód koncepcji w tej dziedzinie. Przed sesją, proszę, zapoznaj się z artykułem (https://openreview.net/pdf?id=NpsVSN6o4ul). Im więcej pytań będziesz miał po lekturze, tym bardziej produktywna będzie sesja! Możesz również zapoznać się z tym bardziej praktycznym rozdziałem kursu na temat interpretowalności dotyczącego tego samego artykułu: https://learn.arena.education/chapter1_transformer_interp/21_ioi/intro.