Open-Source-KI selbst hosten: Was offene Modelle wirklich kosten

Dienstagabend, kurz nach acht. Thomas Berger, IT-Leiter eines Verpackungsmaschinen-Herstellers aus Ulm, bleibt beim Scrollen durch die Tech-News an einer Schlagzeile hängen: Ein chinesisches Labor stellt ein KI-Modell mit einer Billion Parametern zum freien Download bereit. Open-Source-KI auf Augenhöhe mit den besten kommerziellen Systemen, verfügbar für jeden. Berger überschlägt im Kopf: Sein Unternehmen zahlt jeden Monat einen vierstelligen Betrag für KI-Dienste aus der Cloud. Warum nicht das freie Modell auf eigene Server holen? Die Daten blieben im Haus, die API-Rechnung entfiele, die Abhängigkeit von US-Anbietern wäre Geschichte.

Am Mittwochmorgen bittet er seinen Hardware-Lieferanten um ein Angebot. Die Antwort kommt nach dem Mittagessen und beendet den Traum abrupt: Der passende GPU-Server kostet über eine halbe Million Euro. Diese Geschichte spielt sich gerade in vielen deutschen Unternehmen ab. Zeit für eine ehrliche Rechnung: Was kostet der Betrieb offener KI-Modelle wirklich, und wann lohnt er sich trotzdem?

Open-Source-KI verschenkt das Rezept, nicht die Küche

Open Weights bedeutet: Der Anbieter veröffentlicht die trainierten Modellgewichte, also jene Milliarden Zahlenwerte, in denen das Wissen des Modells steckt. Herunterladen darf sie jeder, betreiben muss sie jeder selbst. Das ist der entscheidende Unterschied zum Cloud-Dienst, bei dem Rechenleistung, Wartung und Skalierung im Preis enthalten sind.

Die neue Generation offener Modelle aus China macht das Thema akut. Laut BigData-Insider (2025) veröffentlichte das Labor Moonshot AI sein Modell Kimi K2 mit einer Billion Parametern unter einer MIT-ähnlichen Lizenz; pro Anfrage sind davon dank Mixture-of-Experts-Architektur nur rund 32 Milliarden aktiv. Im Januar 2026 folgte laut SiliconANGLE (2026) der Nachfolger Kimi K2.5, trainiert auf 15 Billionen Tokens und in wichtigen Benchmarks nur wenige Prozentpunkte hinter den kommerziellen Spitzenmodellen.

Warum die offenen Riesen trotzdem eine gute Nachricht sind

Bemerkenswert ist, wie günstig diese Modelle entstehen. Das Training von Kimi K2 Thinking kostete laut einem Bericht, den The Decoder (2025) zitiert, nur rund 4,6 Millionen US-Dollar. Die Zeit, in der eine Handvoll Konzerne den Markt unter sich aufteilte, endet damit sichtbar. Für Unternehmen heißt das: mehr Auswahl, mehr Verhandlungsmacht, weniger Abhängigkeit von einem einzelnen Anbieter. Nur der Betrieb, der bleibt Ihre Aufgabe.

Ein Server für eine halbe Million: die Hardware-Realität der Spitzenmodelle

Ein offenes Modell mit einer Billion Parametern selbst zu betreiben, kostet sechsstellig in der Anschaffung und fünfstellig pro Jahr im Betrieb. Wer die Gewichte in Serverqualität laden will, braucht Hunderte Gigabyte GPU-Speicher, und den gibt es nur in der obersten Leistungsklasse.

Die Zahlen dazu sind öffentlich: Eine einzelne Nvidia-B200-GPU kostet laut Northflank (2025) je nach Konfiguration 45.000 bis 50.000 US-Dollar. Ein kompletter Server mit acht dieser Karten überschreitet die Marke von 500.000 US-Dollar. Genau solche Systeme sind die Referenzklasse für Modelle im Billionen-Parameter-Bereich.

Der Stromzähler läuft immer

Laut Nvidia (2026) liegt die maximale Leistungsaufnahme des 8-GPU-Systems DGX B200 bei rund 14,3 Kilowatt. Im Dauerbetrieb summiert sich das auf gut 125.000 Kilowattstunden pro Jahr. Bei durchschnittlich 19,22 Cent pro Kilowattstunde, die Destatis (2026) für Nicht-Haushaltskunden im zweiten Halbjahr 2025 ausweist, ergibt das rund 24.000 Euro Stromkosten jährlich. Kühlung, Rack-Infrastruktur und Ausfallsicherheit kommen obendrauf.

Und die Maschine allein genügt nicht: Jemand muss Treiber, Inferenz-Software, Monitoring und Sicherheit im Griff behalten. Genau daran hakt es im Mittelstand. Laut Bitkom (2025) nennen 20 Prozent der deutschen Unternehmen fehlende Fachkräfte als größte Hürde beim Einsatz von Open Source.

Die unterschätzte Alternative: kleine offene Modelle auf ein bis zwei GPUs

Für die meisten KMU-Anwendungen braucht es kein Billionen-Parameter-Modell. Offene Modelle mit 7 bis 70 Milliarden Parametern laufen auf ein bis zwei Profi-GPUs und liefern für klar umrissene Aufgaben sehr gute Ergebnisse.

Die Faustregel aus der Praxis: Ein Modell mit 7 bis 8 Milliarden Parametern läuft quantisiert, also mit verlustarm komprimierten Gewichten, auf einer einzelnen GPU mit 24 Gigabyte Speicher. Ein 70-Milliarden-Modell begnügt sich in 4-Bit-Quantisierung mit rund 40 bis 48 Gigabyte, verteilt auf zwei Karten. Statt einer halben Million sprechen wir über Hardware zwischen 5.000 und 60.000 Euro, je nach Leistungsklasse und Ausbaustufe.

In unserer Praxis bei DigiRift sehen wir immer wieder: Für E-Mail-Klassifikation, Dokumenten-Zusammenfassung oder eine interne Wissenssuche reicht ein kleines, sauber zugeschnittenes offenes Modell völlig aus. Entscheidend ist nicht die Modellgröße, sondern der Zuschnitt: sauberes Retrieval, klare Leitplanken, gute Anbindung an die eigenen Systeme. Warum sich dieser Besitz-Ansatz auch wirtschaftlich rechnet, zeigt unser Beitrag über eigene KI-Infrastruktur statt SaaS-Abos.

Mieten statt kaufen: die EU-Cloud als Mittelweg

Zwischen eigenem Serverraum und US-Cloud-Abo liegt ein dritter Weg: offene Modelle auf gemieteter GPU-Leistung in europäischen Rechenzentren. Sie behalten die freie Modellwahl und die Kontrolle über Ihre Daten, ohne Hardware zu kaufen.

Drei Varianten haben sich etabliert:

• Rohe GPU-Miete: Sie mieten Rechenleistung stundenweise und betreiben das Modell selbst. Für eine B200-Spitzen-GPU liegen die Mietpreise laut Northflank (2025) je nach Anbieter zwischen rund 6 und 19 US-Dollar pro Stunde; kleinere Karten für kompakte Modelle kosten deutlich weniger.
• Gemanagtes Modell-Hosting: Ein Dienstleister betreibt das offene Modell Ihrer Wahl in einem EU-Rechenzentrum, inklusive Updates und Monitoring. Planbare Monatskosten, kein eigenes GPU-Know-how nötig.
• Inferenz-APIs für offene Modelle: Sie zahlen pro verarbeitetem Token, wie bei kommerziellen Anbietern, nur eben für ein offenes Modell, das Sie jederzeit zu einem anderen Betreiber mitnehmen können.

Was kostet es also, ein KI-Modell selbst zu hosten? Die ehrliche Antwort lautet: zwischen ein paar hundert Euro Miete im Monat und einer halben Million in der Anschaffung. Die Spanne ist riesig, und genau deshalb lohnt die saubere Analyse vor dem ersten Kauf.

Warum Unternehmen trotzdem auf Open-Source-KI setzen: Datenhoheit schlägt Bequemlichkeit

Der wichtigste Grund für offene Modelle ist selten der Preis, sondern die Kontrolle: über Daten, Versionen und die eigene Zukunftsfähigkeit. Laut Bitkom (2025) nutzen bereits 73 Prozent der deutschen Unternehmen Open-Source-Software, und ebenso viele halten sie für ein geeignetes Mittel, die digitale Souveränität zu stärken.

Bei KI wiegt das doppelt. Ein selbst oder in der EU gehostetes offenes Modell schickt keine Kundendaten an Dritte, ein ungefragter Modellwechsel des Anbieters ist ausgeschlossen, und die Version von heute läuft auch in fünf Jahren noch identisch. Welche Pflichten bei personenbezogenen Daten bleiben, haben wir im Beitrag zu DSGVO und KI zusammengefasst. Und wer meint, ohne offizielle KI-Lösung passiere im Haus einfach nichts, unterschätzt die Realität: Mitarbeiter nutzen längst private KI-Konten, wie unser Artikel über Schatten-KI im Unternehmen zeigt. Ein kontrolliert betriebenes offenes Modell ist oft die beste Antwort darauf.

Das Tempo bleibt dabei atemberaubend: Zwischen Kimi K2 und K2.5 lagen kaum sechs Monate. Wer diese Schlagzahl nicht selbst verfolgen kann, bekommt die wichtigsten Entwicklungen kompakt und verständlich im KI-Newsletter von DigiRift.

Die Entscheidungsmatrix: vier Szenarien, vier Antworten

Ob sich Selbst-Hosten lohnt, entscheiden drei Fragen: Wie sensibel sind Ihre Daten? Wie hoch ist das Nutzungsvolumen? Und wie viel IT-Kompetenz ist im Haus? Die Matrix fasst die typischen Fälle zusammen:

Lohnt sich ein eigenes Sprachmodell für Ihr Unternehmen? Die Antwort beginnt nie beim Modell, sondern beim Prozess: Welche Aufgaben sollen automatisiert werden, welche Datenklassen sind betroffen, welches Volumen fällt an? Genau diese Rechnung stellen wir bei DigiRift regelmäßig für Mittelständler auf; eine kostenlose Erstanalyse zeigt meist schon, welches der vier Szenarien zu Ihrem Betrieb passt.

Wichtig: Die Entscheidung ist keine Einbahnstraße. Wer mit einem gemieteten offenen Modell startet, kann später auf eigene Hardware wechseln, ohne die Anwendung neu zu bauen. Genau diese Wechselfreiheit ist der strategische Kern von Open Weights.

Fazit: Erst rechnen, dann hosten

Open-Source-KI ist eine der wichtigsten Entwicklungen für den Mittelstand, weil sie Wahlfreiheit zurückbringt. Aber die Gewichte sind frei, der Betrieb ist es nicht: Ein Spitzenmodell mit einer Billion Parametern verlangt Hardware für über eine halbe Million US-Dollar und rund 24.000 Euro Strom pro Jahr. Für die meisten KMU ist der klügere Weg ein kompaktes offenes Modell auf bezahlbarer Hardware oder gemieteter EU-GPU, zugeschnitten auf einen konkreten Prozess. Datenhoheit und DSGVO sprechen für offene Modelle, die Kostenrechnung entscheidet über das Wie.

Wenn Sie wissen wollen, wo Ihr Unternehmen steht: In einem 30-minütigen Gespräch rechnen wir gemeinsam durch, welches Modell zu Ihrem Anwendungsfall passt, ob sich eigene Hardware lohnt und mit welchen monatlichen Kosten Sie realistisch planen sollten. Schreiben Sie uns, Sie gehen mit einer konkreten Kostenschätzung aus dem Termin, nicht mit einer Werbebroschüre.

Quellen

1. BigData-Insider (2025): Moonshot AI veröffentlicht Modell Kimi K2
2. SiliconANGLE (2026): Moonshot AI releases open-source Kimi K2.5 model with 1T parameters
3. The Decoder (2025): Moonshot AI stellt Kimi K2 Thinking vor
4. Northflank (2025): How much does an NVIDIA B200 GPU cost?
5. Nvidia (2026): DGX B200 Produktseite und Spezifikationen
6. Destatis (2026): Strompreise für Nicht-Haushaltskunden im 2. Halbjahr 2025
7. Bitkom (2025): Open Source Monitor 2025