Zum Inhalt springen

Einen KI-Assistenten mit lokalen Modellen bauen · Teil 1 von 13 der Serie

Teil 1: Ein Modell auf deinem eigenen Rechner

Was ein Sprachmodell ist, was du brauchst, um eines auf deinem eigenen Rechner laufen zu lassen, und dein erstes Gespräch mit ihm im Terminal, mit Ollama.

Einsteiger15 Min.

Quest-Ziele

  • Wissen, was du in dieser Serie baust
  • Verstehen, was ein Sprachmodell ist und was seine Größe bedeutet
  • Ollama installieren und ein Modell herunterladen
  • Im Terminal mit dem Modell sprechen
  • Wissen, warum ein kleines Modell Hilfe braucht und woher sie kommen wird

In dieser Serie baust du einen Assistenten namens Pixel. Du sagst ihm „In der Küche ist es ein bisschen dunkel“, und die Küchenlampe geht an. Pixel stellt einen Timer für deinen Tee, sagt dir, ob du einen Regenschirm brauchst, und merkt sich, dass Anna allergisch gegen Nüsse ist. In den späteren Teilen bekommt Pixel eine Seite in deinem Browser, eine Stimme und Ohren. Das Sprachmodell dahinter läuft auf deinem eigenen Rechner: Nichts, was du sagst, verlässt das Haus, keine Frage kostet etwas, und es funktioniert ohne Internet.

Die Serie folgt einem echten Assistenten, der in einem Wohnzimmer auf einem kleinen PC läuft, tagein, tagaus. Seine Lampen sind echt. Bei dir ist es ein kleines virtuelles Zuhause, du brauchst also keine Hardware, aber die Logik ist dieselbe, und die Lehren, die der Weg dorthin gekostet hat, sind es auch.

Was ein Sprachmodell ist

Ein Sprachmodell ist eine sehr große Tabelle voller Zahlen, die Gewichte, und dazu ein kleines Programm, das sie für genau eine Sache benutzt: zu einem Text auszurechnen, welches Stück Text wahrscheinlich als Nächstes kommt. Dieses Stück wird angehängt, dann wird wieder gefragt, und wieder. Mehr tut ein Chatbot nicht, wenn er „schreibt“.

  • Die Stücke heißen Tokens: kurze Wörter oder Wortteile. Ein englisches Wort sind etwa eineindrittel Tokens, ein deutsches meist etwas mehr.

  • Die Größe eines Modells zählt man in Parametern, den Zahlen in dieser Tabelle. Das Modell, das du verwenden wirst, hat 4 Milliarden davon, geschrieben „4b“, nach dem englischen „billion“. Die großen Modelle hinter den bekannten Chat-Diensten haben Hunderte Milliarden und brauchen ein Rechenzentrum.

  • Damit die Datei kleiner wird, werden die Zahlen grob gespeichert, mit etwa 4 Bit pro Zahl. Das heißt Quantisierung, und deshalb passen 4 Milliarden Parameter mit wenig Verlust in einen Download von 2,5 GB.

  • Das Kontextfenster ist die Menge Text, die das Modell auf einmal ansehen kann: deine Frage, alles, was vorher gesagt wurde, und seine eigene Antwort. Was nicht hineinpasst, sieht es schlicht nicht.

Ein Modell lernt nichts, während du es benutzt, und merkt sich nichts zwischen zwei Anfragen. Es ist eine Datei, die gelesen und nie geschrieben wird. Alles, was nach Gedächtnis oder Persönlichkeit aussieht, ist Text, den ein Programm vor deine Frage stellt. Dieses Programm zu schreiben, darum geht es in dieser Serie.

Was ein kleines Modell kann und was nicht

Ein 4b-Modell versteht Alltagssprache gut, in vielen Sprachen, und es kann gut aus „In der Küche ist es ein bisschen dunkel“ ein „Schalte die Küchenlampe ein“ machen. Es ist schnell genug für ein Gespräch. Es ist kein Lexikon: Frag es nach Fakten, und es antwortet oft mit etwas, das nur richtig klingt. Es kann Wochentage nicht zuverlässig zählen, es rechnet schlecht, und es weiß nichts von dem, was nach seiner Entstehung passiert ist.

Pixel verlässt sich deshalb nicht auf das Modell allein. Es gibt drei Stufen:

  1. Regeln beantworten die einfachen, klaren Befehle in unter einer Millisekunde, ganz ohne Modell.

  2. Das lokale Modell übernimmt, was in freien Worten gesagt wird, und benutzt Werkzeuge, um etwas zu tun.

  3. Ein größeres Gehirn bekommt die Fragen, die das kleine Modell nicht beantworten sollte. Dieser letzte Schritt ist freiwillig und der einzige, der deinen Rechner verlässt.

Die Serie

  1. Ein Modell auf deinem eigenen Rechner (dieser Teil)

  2. Aus dem Code mit dem Modell sprechen

  3. Eine Persona und ein Prompt, der schnell bleibt

  4. Werkzeuge, oder wie das Modell das Licht schaltet

  5. Timer, das Wetter und Werkzeuge, die selbst antworten

  6. Schnelle Regeln vor dem Modell

  7. Die Antworten des Modells prüfen

  8. Ein Gedächtnis, das nach Bedeutung findet

  9. Eine Chat-Seite im Browser

  10. Stimme rein: Sprache zu Text

  11. Stimme raus: Text zu Sprache

  12. Ein Aktivierungswort

  13. Ein größeres Gehirn dazuholen: Claude Code in tmux

Was du brauchst

Einen Computer mit Windows, macOS oder Linux und mindestens 8 GB Arbeitsspeicher; mit 16 GB ist es bequemer. Eine Grafikkarte macht das Modell schneller, und Ollama benutzt sie, wenn es eine findet (NVIDIA, AMD oder den Chip eines Macs mit Apple Silicon), aber nötig ist sie nicht: Nur auf dem Prozessor dauern die Antworten einfach etwas länger. Außerdem brauchst du etwa 5 GB freien Platz auf der Festplatte und ab dem nächsten Teil Node.js.

Über maschinelles Lernen musst du nichts wissen. Wenn du schon einmal ein wenig JavaScript geschrieben hast, kannst du dem ganzen Code folgen. Wenn nicht, kannst du trotzdem mitlesen und verstehen, wie so ein Assistent funktioniert.

Ollama installieren

Ollama ist ein kostenloses Programm, das Sprachmodelle herunterlädt und ausführt. Es versteckt die schwierigen Teile: deine Grafikkarte finden, das Modell in den Arbeitsspeicher laden und wieder entladen. Und es gibt anderen Programmen eine Adresse auf deinem Rechner, an die sie Text schicken und von der sie die Antwort des Modells bekommen. Unter Linux installiert es eine einzige Zeile:

~
$ curl -fsSL https://ollama.com/install.sh | sh# lädt Ollama herunter, installiert es und startet es im Hintergrund$ ollama --versionollama version is 0.40.16

Unter macOS und Windows lädst du das Installationsprogramm von ollama.com/download herunter und startest es. Danach läuft Ollama im Hintergrund, und der Befehl ollama funktioniert in einem neuen Terminalfenster. Deine Versionsnummer wird eine neuere sein.

Ollama lauscht jetzt auf Port 11434 deines Rechners, und nur dort: Niemand sonst in deinem Netzwerk kann es erreichen. Prüf, ob es läuft:

~
$ curl http://localhost:11434/Ollama is running

Ein Modell herunterladen

Ollama hat eine Bibliothek von Modellen. Diese Serie verwendet Qwen3 mit 4 Milliarden Parametern, in der Variante „instruct“:

~
$ ollama pull qwen3:4b-instructpulling manifest# ... ein Fortschrittsbalken für jede Datei, zusammen 2,5 GB ...verifying sha256 digestwriting manifestsuccess

Sprich mit ihm

ollama run lädt das Modell und öffnet einen Chat direkt im Terminal. Der erste Start dauert ein paar Sekunden, weil 2,5 GB in den Arbeitsspeicher gelesen werden müssen:

~
$ ollama run qwen3:4b-instruct>>> Warum ist der Himmel blau? Bitte in einem Satz.Weil die Luft den blauen Anteil des Sonnenlichts viel stärker streut als den roten, sodass Blau aus allen Richtungen in dein Auge fällt.>>> Und bei Sonnenuntergang?Dann legt das Licht einen viel längeren Weg durch die Luft zurück, das meiste Blau wird unterwegs weggestreut, und übrig bleiben Orange und Rot.>>> /bye

Diese Antwort kam von deinem eigenen Rechner. Achte darauf, wie sie Wort für Wort erscheint: Du siehst dem Modell dabei zu, wie es ein Token nach dem anderen erzeugt. Probier ein paar Dinge aus: Frag es etwas in einer anderen Sprache, frag es, welcher Tag heute ist (das kann es nicht wissen), frag es nach 17 mal 23 (richtig ist 391; wundere dich nicht über ein falsches Ergebnis). /bye beendet den Chat.

Wo das Modell wohnt

Nach dem Chat bleibt das Modell noch fünf Minuten im Arbeitsspeicher, falls du zurückkommst, dann entlädt Ollama es, und dein Arbeitsspeicher ist wieder frei. Drei Befehle zeigen und steuern das:

~
$ ollama list# die Modelle auf deiner Festplatte$ ollama ps# die Modelle, die gerade im Arbeitsspeicher sind, und ob sie auf der GPU oder der CPU laufen$ ollama stop qwen3:4b-instruct# nimmt ein Modell aus dem Arbeitsspeicher

Zeigt ollama ps in der Spalte PROCESSOR 100% GPU, läuft das Modell auf deiner Grafikkarte; 100% CPU heißt, es läuft auf dem Prozessor. Beides funktioniert.

Der Chat im Terminal ist Ollamas eigenes kleines Programm. Im nächsten Teil schreibst du dein eigenes: ein paar Zeilen TypeScript, die dem Modell eine Frage schicken und seine Antwort ausgeben.

Kommentare

Die Kommentare sind GitHub Discussions: Zum Schreiben mit GitHub anmelden.

Die Kommentare kommen über giscus von GitHub. Beim Laden gehen deine IP-Adresse an giscus.app und GitHub.