Innovative Architektur für LLM – Kraken
Gemeinsam mit Cognitive Computations und HyperSpace hat VAGO eine neue Architektur für LLM entwickelt. Sie läuft unter dem Namen Kraken und bringt eine Reihe an Vorteilen mit sich:
✅ Vielseitige Architektur: Kraken ermöglicht die nahtlose Kombination von LLMs unterschiedlicher Größen, Quantisierungen und Modellarchitekturen. Aktuell unterstützt es Quantisierungen in 4-Bit, 8-Bit und AWQ, mit weiteren auf dem Weg. Es läuft auf Hugging Face Transformers 4.40+.
✅ Kraken Router: Mithilfe eines maßgeschneiderten Sequenzklassifizierungsmodells mit einer Kontextlänge von 32k Token leitet der Kraken Router Eingaben basierend auf ihren Eigenschaften an den am besten geeigneten Experten weiter.
✅ Anpassungsfähigkeit: Verbesserte Eingabeformatierung unterstützt die Anpassungsfähigkeit des Modells an unterschiedliche Gesprächskontexte.
✅ Extreme Vielseitigkeit: Tauschen Sie Experten innerhalb von Kraken einfach für Ihre spezifischen Anwendungsfälle aus, ohne das gesamte Modell neu trainieren zu müssen. Zum Beispiel, wenn Sie ein Kraken für das Programmieren in Python, C++ und Java erstellt haben, können Sie Ihr Python-Modell upgraden, ohne den Router neu zu trainieren, oder ein C#-Modell hinzufügen, indem Sie den Router neu trainieren.
✅ Open-Source-Pipeline: Wir teilen die gesamte Pipeline, einschließlich Router-Erstellung, Training, Architektur-Setup und Kraken-Inferenz, auf Jupyter Notebooks.
ZURÜCK
