
Bezpieczeństwo Sztucznej Inteligencji Cotygodniowo: Dopasowanie od Zera Tokenu
Opis
WAŻNE: Ta sesja będzie bardziej techniczna niż inne sesje w serii.<\/p>
Większość prac nad zgodnością odbywa się dzisiaj po wstępnym szkoleniu. Model najpierw uczy się z ogromnych ilości tekstu, przyswajając wszelkiego rodzaju zachowania i głosy, a dopiero później jest szkolony, aby działać jako pomocny, nieszkodliwy asystent. W rezultacie wartości modelu mogą stać się cienką warstwą na wierzchu wszystkiego, czego się nauczył wcześniej, zamiast być głęboko zakorzenione. Ale co, jeśli zgodność zaczęłaby się od samego pierwszego tokena treningowego?<\/p>
W tej tematycznej sesji V. Moskvoretskii (doktorant EPFL) zaprezentuje swoją ostatnią pracę, Synthetic Persona Pretraining: Zgodność od Pierwszego Tokena. Zamiast dodawać osobowość asystenta na końcu, Synthetic Persona Pretraining (SPP) buduje ją od samego początku: dokumenty wstępnego szkolenia są oznaczane refleksjami moralnymi w pierwszej osobie, opartych na konstytucji wartości, a po szkoleniu tożsamość asystenta jest związana z tą wstępnie wyszkoloną osobowością. W modelach o maksymalnie 3B parametrów trenowanych na 500B tokenach, SPP poprawiło, jak dobrze modele przestrzegają swojej konstytucji, uczyniło je bardziej odpornymi na ataki jailbreak oraz zmniejszyło wybory niezgodne w dylematach moralnych, wszystko to bez uszczerbku na możliwościach. Czas ma znaczenie: wprowadzenie tej samej interwencji tylko na końcu wstępnego szkolenia działa zauważalnie gorzej. Technika ta jest również częścią szkolenia Apertus 2, następnej wersji szwajcarskiego otwartoźródłowego LLM, więc to okazja, aby usłyszeć o pracach związanych z bezpieczeństwem, które trafiają do otwartego modelu zbudowanego tutaj, w Szwajcarii.<\/p>
Po prezentacji otworzymy dyskusję. Czy zgodność powinna zaczynać się na etapie wstępnego szkolenia? Czym są osobowości w LLM-ach i jak się formują? Kiedy w trakcie szkolenia jest najlepszy czas na wprowadzenie pożądanych właściwości i czy wcześniejsze może być naprawdę lepsze niż późniejsze? Jak nawet zmierzamy te różnice, szczególnie w małych modelach? Możemy również wykorzystać tę sesję do omówienia pytań dotyczących bezpieczeństwa AI w modelach otwartoźródłowych w szerszym kontekście.<\/p>
🍕 Po sesji zostanie zapewnione jedzenie na potrzeby networkingowe i dalszej dyskusji.<\/p>
📅 Wtorek, 17 listopada, 18:30–20:00📍 Główna budowla ETH, HG D3.3.<\/p>
Zalecane jest umiarkowane tło techniczne. Podstawowa znajomość sposobu szkolenia dużych modeli językowych (wstępne szkolenie vs. po szkoleniu/dostosowanie) jest korzystna. Rejestracja jest wymagana.<\/p>
Lokalizacja wydarzenia
Daj swojej sieci znać, że idziesz
Udostępnij to wydarzenie, aby rozpocząć rozmowy, zaprosić kolegów i nawiązać kontakty przed jego rozpoczęciem.











