Trivalley Meetup - ComplianceAware Finetuning

Feinabstimmung verbessert ein Modell in der Aufgabe. Sie kann es jedoch auch bei den Regeln verschlechtern.Diese Sitzung zeigt, wie die standardmäßige überwachende Feinabstimmung leise das Sicherheitsverhalten eines Modells, das es in der Vorabstimmung gelernt hat, demontiert, und führt dann durch die Compliance-Aware Feinabstimmung (CAFT), die die Einhaltung zu einer harten Einschränkung innerhalb des Trainingsziels macht, anstatt einen Filter darüber zu legen. Sie schließt mit einem Live-Notebook, das ein Modell feinabstimmt und die Einhaltungsabweichung während des Prozesses misst.