Lokale KI offline nutzen
Diese Seite = Einrichtung (solange es Internet gibt) + Spickzettel für den Ernstfall. Beispiel-Software: Ollama (kostenlos, Windows/macOS/Linux). Alternativen mit grafischer Oberfläche: LM Studio, GPT4All.
Grundsatz
Lokale Modelle laufen komplett ohne Internet — aber nur, wenn Programm und Modell-Dateien bereits heruntergeladen sind. Jetzt einrichten und prüfen, nicht erst im Blackout!
Einrichtung mit Ollama (einmalig, braucht Internet)
- Installationsprogramm von ollama.com/download laden und installieren. Ollama läuft danach im Hintergrund (Symbol im Infobereich) und ist am PC unter
http://localhost:11434erreichbar. - Eingabeaufforderung/PowerShell öffnen und ein Modell laden:
ollama pull <modell>(Beispiele unten). - Testen:
ollama run <modell>→ Frage stellen → mit/byebeenden. - Offline-Test: WLAN/Netzwerkkabel trennen und erneut eine Frage stellen.
- Speicherort der Modelle unter Windows:
%USERPROFILE%\.ollama\models. Wenig Platz aufC:? UmgebungsvariableOLLAMA_MODELSauf einen anderen Ordner setzen und Ollama neu starten. Dieser Ordner lässt sich auch per USB-Stick auf einen PC ohne Internet kopieren.
Welches Modell? (Richtwerte)
Faustregel aus der Ollama-Dokumentation: mindestens 8 GB RAM für 7B-Modelle, 16 GB für 13B, 32 GB für 33B („B" = Milliarden Parameter). Eine Grafikkarte mit viel Speicher macht die Antworten deutlich schneller, ist aber nicht nötig.
| Klasse | Wofür | Beispiele (Ollama-Namen) | Download ca. |
|---|---|---|---|
| Klein (1–4B) | Akku-Betrieb, schwache Laptops, schnelle Kurzfragen | llama3.2:3b, gemma3:4b, qwen3:4b |
2–3 GB |
| Mittel (7–14B) | Allround: Wissen, Beratung, Texte; guter Kompromiss | qwen3:8b, llama3.1:8b, gemma3:12b, qwen3:14b |
5–9 GB |
| Groß (27B+) | Beste Qualität, nur mit viel RAM/starker Grafikkarte | gemma3:27b, qwen3:32b |
17–20 GB |
- Empfehlung: ein mittleres Allround-Modell + ein kleines schnelles für den Akku-Betrieb.
- Für Fragen auf Deutsch oder Französisch ein mehrsprachiges Modell wählen und vorher testen.
- Modellnamen und -versionen ändern sich laufend — aktuelle Liste unter ollama.com/library.
Sofort-Check (solange das Internet noch da ist)
- [ ] Mindestens ein Modell lokal vorhanden? (
ollama listbzw. LM Studio → My Models) - [ ] Ein großes/mittleres Allround-Modell (Wissen/Beratung) + ein kleines schnelles (Akku-Betrieb) vorhanden?
- [ ] KI startet ohne Netz? Test: WLAN aus → Frage stellen
- [ ] Diese Offline-Base für die KI zugänglich? (Ordner
wissen\als Kontext nutzbar)
Ollama — Kurzbefehle
ollama list # installierte Modelle anzeigen
ollama pull <modell> # Modell herunterladen (braucht Internet)
ollama run <modell> # Chat starten
ollama ps # gerade geladene Modelle anzeigen
ollama serve # Server manuell starten (falls er nicht im Hintergrund läuft)
/bye # Chat beenden
KI im lokalen WLAN für alle Geräte freigeben
Router an (Strom!) = das LAN funktioniert ohne Internet.
- Auf dem KI-Rechner die Umgebungsvariable
OLLAMA_HOSTauf0.0.0.0setzen (Windows: „Umgebungsvariablen für dieses Konto bearbeiten"), dann Ollama beenden (Symbol im Infobereich) und neu starten. - Windows-Firewall: Port 11434 eingehend erlauben — nur im eigenen, vertrauenswürdigen Netz!
- IP des Rechners notieren:
ipconfig→ IPv4-Adresse, z. B. 192.168.x.x → hier eintragen: …… - Andere Geräte: In einer Chat-App oder Web-Oberfläche als Ollama-Server
http://<IP>:11434eintragen. Die Web-Oberfläche (z. B. Open WebUI) bzw. App vorher installieren — das geht nur mit Internet.
Sinnvolle Nutzung im Notfall
Gut geeignet: - Wissen erklären: „Wie lege ich einen Druckverband an?" (mit dieser Base gegenprüfen!) - Übersetzen, Texte formulieren, Rechnen, Planen („Rationiere 6 L Wasser für 2 Personen auf 4 Tage") - Improvisation: „Was kann ich aus X und Y bauen/kochen?" - Diese Wissensbasis durchfragen: Inhalt einer MD-Datei in den Prompt kopieren + Frage stellen
Vorsicht (Halluzinationsrisiko!):
- Medikamenten-Dosierungen, Chemie-Mischungen, elektrische Installationen → immer mit den Dateien in wissen\ oder dem Beipackzettel gegenprüfen
- Lokale Fakten (Adressen, Frequenzen, Telefonnummern) — kennt das Modell nicht zuverlässig → dafür ist diese Base da
Prompt-Vorlage für Notfall-Fragen
Du bist ein präziser Notfall-Berater. Antworte kurz, in Schritten,
nenne zuerst Sicherheitswarnungen. Wenn du unsicher bist, sage es
ausdrücklich. Kontext: Stromausfall, kein Internet, Haushalt in
<LAND>. Frage: <FRAGE>
Strom sparen bei KI-Nutzung
- Kleines Modell (3–8B) statt großem: Bruchteil des Verbrauchs, für Alltagsfragen ausreichend
- Fragen sammeln, Sitzung bündeln, Laptop danach in den Standby
- Laptop statt Desktop (Desktop 5–10× mehr Verbrauch)
- Faustregel: Laptop-KI-Sitzung ~50–100 W → mit einer 1000-Wh-Powerstation ~10–15 h Nutzung