In this work, I explore methods for improving the cross-entropy loss alignment between SAE-reconstructed and original model logits. I find that: Rather than combining everything into one large and ...
Ce document correspond au sujet de la SAÉ S1.02 de l'année universitaire 2023/2024. Ce travail est à faire par binôme en autonomie. Il correspond à la suite de la SAÉ S01.01. La SAÉ devra être rendue ...