Apertus: Ein mehrsprachiges Open-Source LLM für eine transparente KI-Zukunft

Das neue Schweizer KI-Flaggschiff

Apertus ist das erste grosse Sprachmodell aus der Schweiz, entwickelt von Swiss-AI mit dem Fokus auf Präzision, Mehrsprachigkeit und europäische Werte. Jetzt exklusiv auf unserer KI-Plattform verfügbar.

Hintergrund: Die Entwicklung von Apertus

Ein Meilenstein der Schweizer KI-Forschung

Forscher der EPFL, ETH Zürich und CSCS haben Apertus entwickelt, ein vollständig offenes Large Language Model (LLM) – eines der grössten seiner Art. Als Grundlagentechnologie ermöglicht Apertus Innovation und stärkt die KI-Expertise in Forschung, Gesellschaft und Industrie, indem es anderen ermöglicht, darauf aufzubauen.

Apertus ist derzeit über den strategischen Partner Swisscom, die KI-Plattform Hugging Face und das Public AI-Netzwerk verfügbar.

Schweizer Qualität trifft auf Innovation

• 100% DSGVO-konform: Vollständig in Europa gehostet
• Datensouveränität: Ihre Daten bleiben in Europa
• Transparenz: Open-Source basiert und nachvollziehbar
• Mehrsprachig: Native Unterstützung für alle Schweizer Landessprachen

Die Initiative

Im Juli kündigten EPFL, ETH Zürich und CSCS ihre gemeinsame Initiative zum Aufbau eines grossen Sprachmodells (LLM) an. Nun ist dieses Modell verfügbar und dient als Baustein für Entwickler und Organisationen für zukünftige Anwendungen wie Chatbots, Übersetzungssysteme oder Bildungstools.

Das Modell trägt den Namen Apertus – lateinisch für “offen” – und hebt sein charakteristisches Merkmal hervor: Der gesamte Entwicklungsprozess, einschliesslich seiner Architektur, Modellgewichte sowie Trainingsdaten und -rezepte, ist offen zugänglich und vollständig dokumentiert.

Zwei Modellvarianten für jeden Bedarf

Apertus 70B

Das Flaggschiff-Modell mit 70 Milliarden Parametern bietet:

• Höchste Präzision bei komplexen Aufgaben
• Erweiterte Reasoning-Fähigkeiten
• Optimiert für anspruchsvolle Business-Anwendungen
• Mehrsprachige Kompetenz (Deutsch, Französisch, Italienisch, Englisch)

Apertus 8B

Das effiziente Modell mit 8 Milliarden Parametern:

• Schnelle Antwortzeiten
• Kosteneffizient im Betrieb
• Ideal für Echtzeitanwendungen
• Perfekt für standardisierte Aufgaben

Vollständig Open-Source

Als vollständig offenes Sprachmodell ermöglicht Apertus Forschern, Fachleuten und Enthusiasten, auf dem Modell aufzubauen und es an ihre spezifischen Bedürfnisse anzupassen sowie jeden Teil des Trainingsprozesses zu inspizieren. Dies unterscheidet Apertus von Modellen, die nur ausgewählte Komponenten zugänglich machen.

“Mit dieser Veröffentlichung wollen wir eine Blaupause dafür liefern, wie ein vertrauenswürdiges, souveränes und inklusives KI-Modell entwickelt werden kann”, sagt Martin Jaggi, Professor für Machine Learning an der EPFL und Mitglied des Lenkungsausschusses der Swiss AI Initiative.

Technische Highlights

• Fine-tuning auf europäischen Datensätzen
• Optimiert für Schweizer Kontext und Kultur
• Erweiterte Sicherheitsfeatures
• API-kompatibel mit gängigen Standards
• Nahtlose Integration in bestehende Systeme

Treiber für Innovation

Mit ihrem offenen Ansatz betreten EPFL, ETH Zürich und CSCS Neuland. “Apertus ist kein konventioneller Fall von Technologietransfer von der Forschung zum Produkt. Stattdessen sehen wir es als Innovationstreiber und als Mittel zur Stärkung der KI-Expertise in Forschung, Gesellschaft und Industrie”, sagt Thomas Schulthess, Direktor des CSCS und Professor an der ETH Zürich.

Anwendungsbereiche

• Dokumentenanalyse: Verarbeitung und Zusammenfassung komplexer Dokumente
• Code-Generierung: Unterstützung bei der Softwareentwicklung
• Kreative Inhalte: Texterstellung in höchster Qualität
• Datenanalyse: Insights aus strukturierten und unstrukturierten Daten
• Kundenservice: Intelligente Chatbots und Support-Systeme

Mehrsprachigkeit als Kern

Trainiert auf 15 Billionen Token in mehr als 1.000 Sprachen – 40% der Daten sind nicht-englisch – umfasst Apertus viele Sprachen, die bisher in LLMs unterrepräsentiert waren, wie Schweizerdeutsch, Rätoromanisch und viele andere.

“Apertus ist für das Gemeinwohl gebaut. Es gehört zu den wenigen vollständig offenen LLMs in dieser Grössenordnung und ist das erste seiner Art, das Mehrsprachigkeit, Transparenz und Compliance als grundlegende Designprinzipien verkörpert”, sagt Imanol Schlag, technischer Leiter des LLM-Projekts und Research Scientist an der ETH Zürich.

Partnerschaft mit Swisscom

“Swisscom ist stolz darauf, zu den Ersten zu gehören, die dieses wegweisende grosse Sprachmodell auf unserer souveränen Swiss AI Platform einsetzen. Als strategischer Partner der Swiss AI Initiative unterstützen wir den Zugang zu Apertus während der Swiss {ai} Weeks. Dies unterstreicht unser Engagement für die Gestaltung eines sicheren und verantwortungsvollen KI-Ökosystems, das dem öffentlichen Interesse dient und die digitale Souveränität der Schweiz stärkt”, kommentiert Daniel Dobos, Research Director bei Swisscom.

Zugänglichkeit und Verfügbarkeit

Während die Einrichtung von Apertus für Fachleute und versierte Benutzer unkompliziert ist, werden für die praktische Nutzung zusätzliche Komponenten wie Server, Cloud-Infrastruktur oder spezifische Benutzeroberflächen benötigt. Die kommenden Swiss {ai} Weeks werden die erste Gelegenheit für Entwickler sein, praktisch mit Apertus zu experimentieren, seine Fähigkeiten zu testen und Feedback für Verbesserungen zukünftiger Versionen zu geben.

Transparenz und Compliance

Apertus ist mit Transparenz im Kern konzipiert und gewährleistet so die vollständige Reproduzierbarkeit des Trainingsprozesses. Neben den Modellen hat das Forschungsteam eine Reihe von Ressourcen veröffentlicht: umfassende Dokumentation und Quellcode des Trainingsprozesses und der verwendeten Datensätze, Modellgewichte einschliesslich Zwischencheckpoints – alles unter einer permissiven Open-Source-Lizenz veröffentlicht, die auch kommerzielle Nutzung erlaubt.

Apertus wurde unter gebührender Berücksichtigung der Schweizer Datenschutzgesetze, des Schweizer Urheberrechts und der Transparenzverpflichtungen gemäss EU AI Act entwickelt. Besondere Aufmerksamkeit wurde auf Datenintegrität und ethische Standards gelegt: Das Trainingskorpus basiert nur auf öffentlich verfügbaren Daten.

Der Beginn einer Reise

“Apertus zeigt, dass generative KI sowohl leistungsstark als auch offen sein kann”, sagt Antoine Bosselut, Professor und Leiter des Natural Language Processing Laboratory an der EPFL und Co-Leiter der Swiss AI Initiative. “Die Veröffentlichung von Apertus ist kein letzter Schritt, sondern der Beginn einer Reise, eine langfristige Verpflichtung zu offenen, vertrauenswürdigen und souveränen KI-Grundlagen für das globale Gemeinwohl.”

Zukünftige Versionen zielen darauf ab, die Modellfamilie zu erweitern, die Effizienz zu verbessern und domänenspezifische Anpassungen in Bereichen wie Recht, Klima, Gesundheit und Bildung zu erkunden.

Jetzt testen

Erleben Sie die Zukunft der Schweizer KI. Registrieren Sie sich noch heute für einen Testzugang und entdecken Sie die Möglichkeiten von den Apertus-Modellen.