VAGO unterstützt Entwicklungsarbeiten an neuem Open Source LLM Laserxtral-4x7b
VAGO stellt Rechenleistung aus seinen angemieteten GPU Clustern bereit, um den neuen Optimierungsansatz LASER (LAyer SElective Rank-Reduction) des MIT und Microsoft auf ein Mixture of Experts (MoE) Model anzuwenden.
Das Ziel dabei ist ein MoE Modell zu entwickeln, das nur halb so groß ist wie das ursprüngliche Mixtral 8x7B von MistralAI, bei gleichbleibender Leistung.
Gemeinsam mit Fernando Fernandes Neto von der Universität Sao Paulo und dem KI Forscher Eric Hartford ist es dem Co-Founder von VAGO, David Golchinfar, gelungen ein leistungsstarkes 4x7B Modell mit dem LASER Ansatz zu entwickeln, dass der Leistung des ursprünglichen Mixtral 8x7B in nichts nachsteht.
ZURÜCK
