Was ist lokale KI?

Einfach erklärt

Cloud-KI ist wie ein Übersetzungsbüro: Sie schicken das Schreiben hin und bekommen die Übersetzung zurück. Lokale KI ist die Übersetzerin im eigenen Haus. Das Sprachmodell läuft auf einem eigenen Server im Betrieb oder in einem Rechenzentrum Ihrer Wahl. Fragen und Dokumente gehen nicht an einen KI-Anbieter.

Möglich wird das durch Modelle, deren Gewichte zum Herunterladen veröffentlicht sind. Gewichte sind die gelernten Zahlenwerte, die das Können des Modells ausmachen. Oft heißen solche Modelle Open-Source-LLM. Genauer ist meist Open Weight: Die Zahlenwerte sind frei verfügbar, Trainingsdaten und Trainingscode nicht unbedingt.

Warum Betriebe das wollen

• Die Daten bleiben im eigenen System. Ein Drittlandtransfer für die KI-Verarbeitung entfällt. Ob auch der CLOUD Act keine Rolle spielt, hängt davon ab, wer Server und Rechenzentrum betreibt.
• Keine Kosten je Anfrage. Dafür kosten Hardware, Strom und Betreuung.
• Weniger Abhängigkeit von Preisen und Modellwechseln eines Anbieters. Mehr dazu unter Digitale Souveränität.

Was Sie selbst übernehmen

Lokale KI ist Self-Hosting. Server, Updates, Zugriffsschutz und Ausfälle liegen bei Ihnen oder Ihrem IT-Dienstleister. Entscheidend für die Hardware ist der Speicher der Grafikkarte, denn das Modell muss hineinpassen. Klären Sie vor dem Kauf, welches Modell laufen soll und wie viele Personen es gleichzeitig nutzen. Prüfen Sie auch die Lizenz: Frei herunterladbare Modelle haben trotzdem Nutzungsbedingungen.

Was lokale KI nicht leistet

Lokal laufen nur Modelle, deren Gewichte veröffentlicht sind und die in Ihre Hardware passen. Das schränkt die Auswahl ein. Ob ein solches Modell für Ihre Aufgaben genügt, zeigt nur ein Test mit echten Beispielen aus Ihrem Alltag, am besten im Vergleich mit einem Cloud-Modell. Lokal heißt auch nicht geschützt: Ein Server ohne Updates und Zugriffskontrolle ist ein Risiko, wo immer er steht.

Open Weight und Open Source

Die Open Source Initiative hat die Open Source AI Definition in Version 1.0 veröffentlicht. Sie verlangt die Freiheiten, ein System zu nutzen, zu untersuchen, zu verändern und weiterzugeben. Die bevorzugte Form für Änderungen umfasst Informationen zu den Trainingsdaten, den vollständigen Code für Training und Betrieb sowie die Parameter. Gewichte allein genügen nicht. Für veröffentlichte Gewichte verlangt die Definition auch die Dateninformationen und den Code, aus denen sie entstanden sind. Zur Lizenzfrage bei Software allgemein siehe Open Source.

Lizenz des Modells

Frei herunterladbar heißt nicht frei nutzbar. Die Llama 3.1 Community License vom 23. Juli 2024 etwa verlangt eine eigene Lizenz von Meta, wenn die Produkte des Lizenznehmers im Vormonat mehr als 700 Millionen monatlich aktive Nutzer hatten. Sie bindet die Nutzung an eine Acceptable Use Policy und schreibt den sichtbaren Hinweis „Built with Llama“ vor.

Laufzeitumgebungen

• llama.cpp zielt auf Inferenz mit wenig Einrichtung, unterstützt Integer-Quantisierung von 1,5 bis 8 Bit und hybride Inferenz auf CPU und GPU für Modelle, die größer als der Grafikspeicher sind.
• Ollama lauscht standardmäßig nur auf 127.0.0.1:11434, OLLAMA_HOST ändert die Adresse. ollama ps zeigt in der Spalte Processor, ob ein Modell im Grafikspeicher liegt. Laut FAQ sieht Ollama Prompts und Daten bei lokaler Ausführung nicht, für Cloud-Modelle gilt anderes.
• vLLM stellt einen Server bereit, der das OpenAI-API-Protokoll implementiert, standardmäßig auf Port 8000. Ein Schlüssel lässt sich mit --api-key setzen.

vllm serve Qwen/Qwen2.5-1.5B-Instruct --api-key "$VLLM_API_KEY"
ollama ps

Der Modellname im Beispiel ist ein Platzhalter für ein frei herunterladbares Modell Ihrer Wahl, keine Empfehlung.

Grafikspeicher und Quantisierung

Nach der Transformers-Dokumentation braucht das Laden eines Modells mit X Milliarden Parametern rund 2 × X GB Grafikspeicher in bfloat16 und rund 4 × X GB in float32. Ein Modell mit 70 Milliarden Parametern braucht damit rund 140 GB. Quantisierung auf 8 oder 4 Bit senkt den Bedarf, im Beispiel der Dokumentation von rund 32 GB auf 15 GB und gut 9 GB. Sie tauscht Speicher gegen Genauigkeit und teils Geschwindigkeit. Bei 4 Bit können die Ergebnisse von voller Präzision abweichen. Lange Eingaben brauchen zusätzlich Speicher für den Key-Value-Cache.

Typische Fehler

• Schnittstelle offen ins Netz. Wer OLLAMA_HOST auf alle Adressen setzt oder vLLM ohne --api-key erreichbar macht, öffnet das Modell für jeden, der den Port erreicht. Davor gehört eine Anmeldung, etwa über einen Reverse Proxy.
• Speicher nur für die Gewichte geplant. Der Key-Value-Cache wächst mit der Länge der Eingabe und des Gesprächs.
• Quantisierung ohne Test. Ob die 4-Bit-Fassung für die Aufgabe reicht, zeigt nur ein Vergleich mit eigenen Beispielen.
• Lizenz nicht gelesen. Nutzungsbeschränkungen und Hinweispflichten gelten auch im eigenen Rechenzentrum.
• Keine Updates. Laufzeitumgebung und Server brauchen Updates wie jede andere Software.