Spectrum: Targeted Training on Signal to Noise Ratio

Zusammenfassung: Das effiziente Nachtrainieren großer Sprachmodelle bleibt aufgrund des enormen Bedarfs an Rechenressourcen eine Herausforderung. Wir stellen Spectrum vor, eine Methode, die das Training von LLMs beschleunigt, indem gezielt Schichtmodule basierend auf ihrem Signal-Rausch-Verhältnis (SNR) ausgewählt und die verbleibenden Module eingefroren werden. Unser Ansatz, der einen Algorithmus zur Berechnung der Modul-SNRs vor dem Training verwendet, hat sich als effektiv erwiesen, um die Leistung der vollständigen Feinabstimmung zu erreichen, während der GPU-Speicherverbrauch reduziert wird. Experimente, die Spectrum mit bestehenden Methoden wie QLoRA vergleichen, demonstrieren seine Wirksamkeit hinsichtlich der Modellqualität und der VRAM-Effizienz in verteilten Umgebungen.