TERMIN VEREINBAREN KONTAKT

Spectrum – Gezieltes und sparsames LLM Training

LLM Pre-Training Spectrum

Sprachmodelle zu trainieren oder feinabzustimmen ist ein aufwendiger Prozess der in der Regel viele GPU Stunden verschlingt und damit teuer ist. Die Nachfrage nach Methoden und Verfahren, die den Ressourcenbedarf während des Trainings reduzieren ist daher groß.

Wir stellen daher unser innovatives Trainingsverfahren Spectrum vor. Spectrum ermöglicht die Auswahl von Schichten im Model, basierend auf Ihrer Signal to Noise Ratio (SNR) und dasd einfrieren aller übrigen Schichten. Dadurch werden gezielt nur Teile des neuronalen Netzes trainiert, was zum einen den Ressourcenbedarf stark reduziert, zum anderen die Auswirkungen katastrophalen Vergessens von LLM reduzieren. Das alles bei gleichzeitiger Leistungssteigerung des LLM.

Spectrum ist frei zugänglich und steht der Open Source Community für Ihre LLM Trainings zur Verfügung.

Github Repository

Link zum Arxiv Artikel

ZURÜCK