Kurz vorab
Dieser Artikel richtet sich an Inhaber und Geschäftsführer kleiner und mittlerer Unternehmen, die KI-Funktionen in ihre Abläufe integrieren möchten – aber noch nicht wissen, ob sie dafür eine Cloud-API oder einen eigenen Server brauchen. Die Antwort hängt von genau drei Faktoren ab: Datensensitivität, Volumen und Compliance-Anforderungen. Alles andere ist sekundär.
Was der Unterschied eigentlich bedeutet
Cloud-API meint: Ihr schickt Anfragen an einen externen Anbieter – OpenAI, Anthropic, Google – und bekommt Antworten zurück. Die Daten verlassen euren Server. Ihr zahlt pro Token, richtet in zehn Minuten eine Integration auf und seid sofort produktiv.
Self-Hosted meint: Das Sprachmodell läuft auf einem eigenen Server oder auf gemieteter Infrastruktur, die ihr kontrolliert. Eure Daten verlassen die Maschine nicht. Setup dauert länger, laufende Kosten sind fest kalkulierbar.
Der entscheidende Punkt, den viele übersehen: Cloud-APIs sind keine Frage von „gut oder schlecht". Sie sind für bestimmte Anwendungsfälle schlicht die richtige Wahl – und für andere eine DSGVO-Falle.
Was bei Cloud-APIs in Ordnung ist
Wenn ihr einen öffentlich zugänglichen FAQ-Bot auf der Website betreibt, Newsletter-Texte generiert oder interne Wissensdatenbank-Suchen ohne Personenbezug automatisiert, ist eine Cloud-API völlig unbedenklich. Ihr habt einen Auftragsverarbeitungsvertrag (AVV) mit dem Anbieter geschlossen, die Daten enthalten keine personenbezogenen Informationen und das Volumen ist überschaubar.
OpenAI Enterprise und Anthropic Claude for Business bieten AVVs an, die den Anforderungen der DSGVO Art. 28 genügen – sofern ihr die Modelle ausschließlich in EU-Rechenzentren betreibt oder keine personenbezogenen Daten übertragt. Das ist der Stand von 2026; die AVV-Dokumentation beider Anbieter hat sich seit 2024 erheblich verbessert. Trotzdem: Der AVV schützt nur, wenn die Eingaben sauber sind.
Wo Cloud-APIs zum Problem werden
Stellt euch vor, ein Mitarbeiter tippt in einen ChatGPT-Prompt: „Schreib eine Antwort an unseren Patienten Herrn Müller zu seiner Diagnose vom letzten Dienstag." Damit wurde ein Patientenname und ein medizinischer Kontext an Server außerhalb der EU übermittelt – ohne explizite Einwilligung, ohne DSGVO-konformen AVV für diese spezifische Nutzung, möglicherweise ohne dass der Datenschutzbeauftragte davon weiß.
Das ist kein theoretisches Szenario. Es passiert täglich in Praxen, Pflegediensten und Kanzleien. Und es ist nicht nur ein Compliance-Risiko – es kann zu Bußgeldern von bis zu 4 % des Jahresumsatzes führen. Bei einem Unternehmen mit 500.000 € Jahresumsatz sind das 20.000 € – für einen unbedachten Prompt.
Wann Self-Hosted die richtige Wahl ist
Self-Hosted rechnet sich, sobald mindestens einer dieser drei Punkte zutrifft.
Datensensitivität: Ihr verarbeitet personenbezogene oder besonders schutzbedürftige Daten – Gesundheitsdaten, Finanzdaten, Mandantendaten. Hier ist Self-Hosted keine Option, sondern Pflicht. Kein AVV der Welt ersetzt die Garantie, dass Daten das Rechenzentrum nicht verlassen.
Volumen: Ab etwa 1,5 bis 2 Millionen Tokens täglich wird Self-Hosted günstiger als Cloud-APIs. Das klingt nach viel – aber ein mittelgroßer Pflegedienst, der automatisiert Übergabeprotokolle, Pflegedokumentationen und Patientenanfragen verarbeitet, kommt schnell in diesen Bereich. 100 Pflegeberichte à 800 Wörter Eingabe plus 300 Wörter Ausgabe sind grob eine Million Tokens pro Tag.
Vendor-Unabhängigkeit: OpenAI hat die Preise in den letzten zwei Jahren mehrfach angepasst. Wer auf einem eigenen Modell sitzt, hat diese Abhängigkeit nicht. Kein Preisschock durch API-Änderungen, keine plötzliche Deprecation des bevorzugten Modells.
Welche Modelle 2026 Self-Hosted in Frage kommen
Für Self-Hosted gibt es heute reife Open-Source-Optionen, die mit den Cloud-Giganten qualitativ mithalten:
- Llama 4 Scout / Maverick (Meta): stark bei Deutsch, mehrsprachigen Tasks und langen Kontexten. Scout läuft auf einem A100 mit 24 GB VRAM, Maverick braucht mehr Ressourcen, liefert aber GPT-4o-vergleichbare Ergebnisse.
- Qwen 3.5 (Alibaba): exzellent für strukturierte Outputs, JSON-Extraktion und RAG-Anwendungen. Besonders gut, wenn Antworten in ein vorgegebenes Schema passen müssen.
- DeepSeek V3 (stark bei Code- und Analyse-Tasks, sehr günstig im Betrieb): ideal für technische Dokumentationen, Code-Reviews und Datenauswertungen.
- Mistral Large 2 (europäischer Anbieter, Datenresidenz in Frankreich): eine gute Zwischenlösung für den, der Cloud bevorzugt, aber europäische Datensouveränität will.
Alle drei ersten Modelle laufen auf einem einzelnen A100-GPU-Server – mehr braucht ihr für die meisten KMU-Workloads nicht. Auf der KI-Modell-Übersichtsseite findet ihr eine aktuelle Gegenüberstellung aller gängigen Open-Source-Modelle mit Leistungsvergleich und Einsatzempfehlung.
Was Self-Hosted wirklich kostet – und wie es sich rechnet
Das ist der Punkt, an dem viele Gespräche scheitern. „Eigener Server klingt teuer" – stimmt, wenn man die Anschaffungskosten falsch einordnet.
Ein dedizierter GPU-Server mit einer NVIDIA A100 80 GB kostet in einem Tier3+ Rechenzentrum in Düsseldorf (99,98 % Uptime, redundante Anbindung) ca. 800–1.200 € pro Monat bei Colocation, oder 1.400–2.000 € bei vollständig gemanagtem Betrieb inklusive Monitoring, Patching, Backup und Sicherheitskonfiguration.
Auf diesem Server könnt ihr mehrere Modelle parallel betreiben und theoretisch unbegrenzt viele Anfragen verarbeiten – die Grenze ist die GPU-Auslastung, nicht der Token-Preis.
Gegenrechnung: GPT-4o kostet (Stand Q1 2026) ca. 2,50 $ pro 1 Million Output-Tokens. Bei 2 Millionen Tokens täglich sind das ca. 150 $ am Tag – 4.500 $ im Monat, also rund 4.100 €. Ein vollständig gemanagter eigener Server für 1.800 € monatlich amortisiert sich hier in weniger als 30 Tagen. Dabei ist noch nicht eingerechnet, dass ihr bei Self-Hosted keine Token-Kosten für experimentelle Anfragen habt – Entwickler und Tester können frei arbeiten.
Mehr zur Infrastruktur, auf der solche Deployments laufen, gibt es auf der Infrastruktur-Seite. Dort ist auch dokumentiert, wie die Sicherheitsarchitektur mit verhaltensbasiertem IPS und WAF aussieht.
Konkretes Beispiel: Pflegedienst-Umstieg auf Self-Hosted
Ein Pflegedienst-Mandant hatte vier Wochen lang ChatGPT Enterprise für die automatisierte Erstellung von Pflegeberichten getestet. Technisch hat es funktioniert – die Qualität war gut, die Integration über die API war stabil, die Mitarbeiter haben das Tool gut angenommen.
Dann kam die Datenschutz-Review durch den externen Datenschutzbeauftragten. Das Ergebnis war unangenehm: Mehrere Felder in den Eingabeprompts enthielten indirekt personenbezogene Daten (Zimmernummern, Schichtzeiten, Diagnose-Kürzel). Zwar gab es einen AVV mit OpenAI, aber die EU-Datenresidenz war nicht aktiviert – die Daten liefen über US-Server.
Wir haben innerhalb von drei Wochen auf ein Self-Hosted Llama 4 8B umgestellt – deployed auf einem KVM-basierten Hypervisor in einem deutschen Rechenzentrum, vollständig unter DSGVO-konformer Kontrolle. Die Integration war für die Mitarbeiter transparent: dieselbe Oberfläche, dieselbe Antwortqualität. Das Ergebnis: 60 % geringere Kosten gegenüber dem Cloud-Plan bei gleichem Volumen, volle Datenhoheit, kein AVV-Risiko mehr. Die Abstimmungsgespräche mit dem Datenschutzbeauftragten haben sich von wöchentlich auf quartalsweise reduziert.
Zu den verfügbaren KI-Integrations-Leistungen gibt es Details auf der KI-Leistungsseite.
Entscheidungsmatrix: Cloud-API vs. Self-Hosted
| Kriterium | Cloud-API empfehlenswert | Self-Hosted empfehlenswert |
|---|---|---|
| Datensensitivität | Öffentliche oder anonyme Daten | Personenbezogene, Gesundheits-, Finanzdaten |
| Tägliches Volumen | Unter 500.000 Tokens/Tag | Über 1,5 Mio. Tokens/Tag |
| Time-to-Market | Sehr hoch – Stunden bis Tage | Mittel – 2–4 Wochen Setup |
| Compliance-Anforderungen | Gering bis mittel (AVV vorhanden, keine Art.-9-Daten) | Hoch (DSGVO Art. 9, Branchenregulierung, KRITIS) |
| Budget Fixkosten | Kein Server-Capex nötig | Ab ca. 800 €/Monat Infrastruktur |
| Vendor-Abhängigkeit | Hoch (Preisänderungen, API-Deprecation möglich) | Keine – Modell gehört euch |
Kurzformel: Alles unter 500.000 Tokens/Tag ohne Personenbezug → Cloud-API reicht. Alles mit Personenbezug, DSGVO-Sonderkategorie oder über 1,5 Mio. Tokens/Tag → Self-Hosted rechnet sich.
Was ist mit dem Bereich dazwischen?
Es gibt einen Graubereich: 500.000 bis 1,5 Millionen Tokens täglich, mit Daten, die keine Art.-9-Kategorien enthalten, aber trotzdem sensibel sind. Hier lohnt eine individuelle Rechnung. Ich mache das in Erstgesprächen regelmäßig: Volumen schätzen, Datenkategorien klären, Anbieter-Optionen durchgehen. Das dauert 30 Minuten und gibt mehr Klarheit als jeder Blogartikel.
Gibt es eine Zwischenlösung?
Ja. Für viele KMUs ist ein Hybrid-Ansatz das Beste aus beiden Welten: unkritische Anfragen (Produkttexte, interne FAQs, Code-Completion) gehen an die Cloud-API, sensible Workflows (Patientendaten, Mandantenakten, Finanzdaten) laufen auf dem eigenen Modell. Die Routing-Logik – welche Anfrage wohin geht – wird einmalig konfiguriert und ist danach für den Endnutzer unsichtbar.
Technisch ist das keine Hexerei: ein API-Gateway mit zwei Backends, eine Klassifikationsregel auf Basis der Datenquelle und ein zentrales Logging. Einrichtungsaufwand ca. zwei Wochen.
In der Praxis hat sich dieser Ansatz bei einem Versicherungsmakler aus dem Karlsruher Raum bewährt: Angebotserstellung und Produktbeschreibungen gehen an die Cloud-API, Kundenkommunikation mit Namen und Vertragsdaten läuft lokal. Die Mitarbeiter sehen davon nichts – für sie ist es ein einheitliches Tool.
Häufige Fragen
Kann ich ChatGPT Enterprise einfach mit einem AVV nutzen und bin dann DSGVO-konform?
Grundsätzlich ja – aber nur, wenn ihr sicherstellt, dass keine Daten nach Art. 9 DSGVO (Gesundheit, Biometrie, politische Überzeugungen etc.) in die Prompts einfließen, und dass die EU-Datenresidenz explizit aktiviert ist. OpenAI Enterprise bietet seit 2024 einen DSGVO-konformen AVV und verarbeitet keine Trainingsdaten aus API-Anfragen. Die Verantwortung für die Prompt-Inhalte liegt jedoch bei euch – der AVV deckt das nicht ab.
Welches Open-Source-Modell empfehlt ihr für deutsche Texte?
Für reine Deutsch-Tasks mit Fokus auf Genauigkeit: Llama 4 Maverick oder Qwen 3.5 72B. Für Code und strukturierte Analysen: DeepSeek V3. Eine ausführliche Gegenüberstellung mit Benchmark-Werten findet ihr auf der KI-Modell-Seite.
Wie lange dauert ein Self-Hosted-Setup bis zur Produktionsreife?
Für ein produktionsreifes Deployment inklusive Sicherheitskonfiguration, Monitoring, automatischen Backups und API-Gateway rechne ich zwei bis vier Wochen. Der erste lauffähige Prototyp – Modell läuft, erste API-Anfragen funktionieren – ist oft in drei bis fünf Tagen fertig. Der Rest ist Härtung und Dokumentation.
Fazit
Die Entscheidung Cloud-API vs. Self-Hosted ist keine technische Glaubensfrage – sie folgt aus euren Daten, eurem Volumen und eurer Compliance-Situation. Wer das einmal strukturiert durchdenkt, trifft eine fundierte Wahl und spart sich später teure Korrekturen. Beide Wege sind 2026 ausgereift; der Fehler liegt fast immer darin, die falsche Variante für den falschen Anwendungsfall zu wählen.
Wer dazu ein konkretes Sparring sucht – das erste Gespräch ist kostenfrei.
