Zum Hauptinhalt springen
13. Juli 202638:41

Ein Leitfaden für absolute Anfänger zur lokalen KI auf dem Mac

Von Samuel Gregory

Über dieses Video

Die Zeiten, in denen man KI-Lösungen aus dem Silicon Valley mieten musste, sind vorbei. Dieses Video bietet CEOs und Gründern eine umfassende Anleitung zur Einrichtung lokaler KI-Agenten auf einem Mac und damit den Weg weg vom SaaS-Abonnementmodell hin zum eigenen Softwarebesitz. Wir behandeln alles von den Hardware-Spezifikationen bis hin zu den Feinheiten des lokalen Modellbetriebs. Die wichtigsten Erkenntnisse: - Hardware-Priorität: Warum RAM für lokale KI-Aufgaben wichtiger ist als die CPU. - Modellauswahl: Orientierung bei Hugging Face und Verständnis der MLX-Quantisierung. - Der Stack: Wie man Ollama, LM Studio und OMLX zum Ausführen von Modellen nutzt. - Agenten-Harnesses: Einrichtung von Open Code und Claude Code für lokale Workflows. - Leistungsrealität: Wärmemanagement und Verständnis der Geschwindigkeitskompromisse zwischen lokal und in der Cloud.

Spickzettel für das Terminal

cd
Verzeichnis wechseln – Wechseln Sie in einen Ordner oder verwenden Sie „../“, um eine Ebene höher zu gelangen.cd Ordnername · cd ../
ls
Zeige die Dateien im aktuellen Verzeichnis an.ls
mkdir
Erstellen Sie im aktuellen Verzeichnis einen Ordner mit dem Namen „foldername“.mkdir Ordnername
Berührung
Erstellen Sie eine neue, leere Datei.touch Dateiname.md
!
Kopiere den zuletzt ausgeführten Befehl.!
OpenCode-Konfiguration~/.config/opencode/opencode.json
{
  "$schema": "https://opencode.ai/config.json",
  "provider": {
    "omlx": {
      "npm": "@ai-sdk/openai-compatible",
      "name": "oMLX (local)",
      "options": {
        "baseURL": "http://127.0.0.1:8000/v1",
        "apiKey": "1234"
      },
      "models": {
        "mlx-community/Qwen3.6-35B-A3B-OptiQ-4bit": { "name": "Qwen 3.6 OptiQ 35B 4bit" },
        "mlx-community/Qwen3.6-35B-A3B-4bit": { "name": "Qwen 3.6 35B 4bit" },
        "mlx-community/Qwen2.5-Coder-7B-Instruct-4bit": { "name": "Qwen 2.5 Coder 7B Instruct 4bit" },
        "mlx-community/Qwen2.5-Coder-32B-Instruct-8bit": { "name": "Qwen 2.5 Coder 32B Instruct 8bit" },
        "mlx-community/Qwen2.5-Coder-32B-Instruct-4bit": { "name": "Qwen 2.5 Coder 32B Instruct 4bit" },
        "mlx-community--gemma-4-12B-it-8bit": { "name": "Gemma 4 12B" },
        "mlx-community/Ornith-1.0-35B-4bit": { "name": "Ornith 1.0 35B" },
        "mlx-community/Ornith-1.0-9B-4bit": { "name": "Ornith 1.0 9B" },
        "mlx-community/Qwen3.5-35B-A3B-4bit": { "name": "Qwen 3.5 35B" },
        "mlx-community/gpt-oss-20b-MXFP4-Q8": { "name": "GPT-OSS 20B MXFP4 Q8" }
      }
    }
  }
}
Pi-Konfiguration~/.pi/agent/models.json
{
  "providers": {
    "omlx": {
      "baseUrl": "http://127.0.0.1:8000/v1",
      "api": "openai-completions",
      "apiKey": "1234",
      "models": [
        { "id": "mlx-community/Qwen3.6-35B-A3B-8bit", "name": "Qwen 3.6 35B A3B 8bit" },
        { "id": "mlx-community/Qwen2.5-Coder-7B-Instruct-4bit", "name": "Qwen 2.5 Coder 7B Instruct 4bit" },
        { "id": "mlx-community/Qwen2.5-Coder-32B-Instruct-4bit", "name": "Qwen 2.5 Coder 32B Instruct 4bit" },
        { "id": "mlx-community/Ornith-1.0-35B-4bit", "name": "Ornith 1.0 35B 4bit" }
      ]
    }
  }
}
openclaw-Konfiguration~/.openclaw/openclaw.json
{
  models: {
    providers: {
      lmstudio: {
        baseUrl: "http://localhost:1234/v1",
        apiKey: "${LM_API_TOKEN}",
        api: "openai-completions",
        models: [
          {
            id: "qwen/qwen3-coder-next",
            name: "Qwen 3 Coder Next",
            reasoning: false,
            input: ["text"],
            cost: { input: 0, output: 0, cacheRead: 0, cacheWrite: 0 },
            contextWindow: 128000,
            maxTokens: 8192,
          },
        ],
      },
    },
  },
}

Die Ära der gemieteten Intelligenz ist vorbei: Ein Leitfaden zu lokalen KI-Agenten auf dem Mac

Die Zeit, in der man KI-Kompetenz aus dem Silicon Valley mietete, ist vorbei. Jahrelang haben Gründer und CEOs bereitwillig die „KI-Steuer“ gezahlt – Abonnements bei OpenAI, Anthropic und verschiedenen SaaS-Vermittlern –, um Zugang zu großen Sprachmodellen zu erhalten. Doch mit der Weiterentwicklung der Hardware ändert sich die Situation. Wir bewegen uns auf eine Welt der persönlichen Software zu, in der man das Modell, die Daten und die Rechenleistung selbst besitzt.

Das Ausführen lokaler KI-Agenten auf einem Mac ist längst kein Wunschtraum von Hobbyentwicklern mehr, sondern ein strategischer Vorteil. Dieser Leitfaden behandelt alles von der Hardwareauswahl bis hin zu den Software-Lösungen, die Ihre Abhängigkeiten von der Cloud ersetzen werden.

Die Hardware: RAM ist das neue Gold

Wenn Sie eine lokale KI-Workstation aufbauen, haben sich die Spielregeln geändert. Früher waren die CPU-Taktfrequenzen der wichtigste Maßstab. Heute dreht sich alles um Unified Memory (RAM).

Je mehr RAM Sie haben, desto größer und komplexer sind die Modelle, die Sie ausführen können. Zwar ist bereits ein M5-Basis-Chip leistungsfähig, doch erst ab 48 GB RAM geht es richtig los. Wenn Sie es mit agentenbasierten Workflows ernst meinen – also KI, die tatsächlich Aufgaben ausführt und Code schreibt –, sollten Sie 96 GB bis 128 GB anstreben. Für diejenigen, die mit Modellen auf Spitzenniveau konkurrieren wollen, ist ein Mac Studio mit 512 GB oder sogar einem Terabyte RAM das ultimative Ziel.

Die Landschaft verstehen: Modelle und Quantisierung

Sie müssen nicht bei jedem Modell die „Vollversion“ ausführen. Durch einen Vorgang namens Quantisierung können wir Modelle auf 4-Bit- oder 8-Bit-Versionen verkleinern, die den Großteil ihrer Leistungsfähigkeit beibehalten und gleichzeitig in den Arbeitsspeicher Ihres Mac passen.

Wir suchen in der Regel nach Modellen im MLX-Format, das speziell für Apple Silicon optimiert ist. Unabhängig davon, ob Sie sich für ein „Dense“-Modell (alle Parameter aktiv) oder ein „Mixture of Experts“ (MoE)-Modell (pro Anfrage ist nur eine Teilmenge der Parameter aktiv) entscheiden, besteht das Ziel darin, das für Ihre spezifischen Geschäftsaufgaben passende Gleichgewicht zwischen Geschwindigkeit und Schlussfolgerungsfähigkeit zu finden.

Der Software-Stack: Eigene KI betreiben

Um diese Modelle auszuführen, benötigen Sie eine Möglichkeit, sie lokal „bereitzustellen“. Während Tools wie Ollama und LM Studio bei Anfängern beliebt sind, bietet OMLX erweiterte Funktionen wie SSD-KV-Caching. Dadurch kann Ihr Rechner den „Verlauf“ Ihrer Unterhaltungen auf der Festplatte speichern, was nachfolgende Anfragen beschleunigt.

Sobald ein Modell bereitgestellt ist, können Sie Ihre „Harnesses“ (die Benutzeroberfläche, mit der Sie tatsächlich interagieren) auf Ihren lokalen Endpunkt verweisen. Mit Tools wie Open Code oder Claude Code können Sie mit Ihren Dateien und Daten interagieren, ohne dass auch nur ein einziges Byte Ihr lokales Netzwerk verlässt.

Warum dies für Gründer wichtig ist

Datenschutz ist der offensichtliche Vorteil, doch hinter der These „SaaS ist tot“ steckt noch mehr. Wenn Sie lokale Agenten einsetzen, sind Sie nicht durch Ratenbeschränkungen, Abonnementstufen oder die sich ständig ändernden Nutzungsbedingungen eines Cloud-Anbieters eingeschränkt. Sie bauen ein privates, dauerhaftes geistiges Kapital für Ihr Unternehmen auf.

Die Einrichtung mag zwar einen Nachmittag in Anspruch nehmen, aber die Unabhängigkeit, die sie Ihnen verschafft, hält ein Leben lang. Es ist an der Zeit, Ihr Gehirn nicht länger zu vermieten, sondern Ihre eigene Infrastruktur zu besitzen.

Transkript▾

### Anleitung zur Einrichtung der lokalen KI auf dem Mac

**Einleitung** In vielen meiner Videos geht es direkt um die Arbeit mit lokalen Agenten, aber ich wollte eine grundlegende Anleitung zur Einrichtung lokaler Agenten auf einem Mac bereitstellen. Diese behandelt alles vom Kauf der Hardware bis hin zur Auswahl und Inbetriebnahme Ihres ersten Agenten.

**Hardware-Auswahl: Desktop-PC vs. Laptop** - **Formfaktor:** Desktop-PCs (Mac Studio/Mini) bieten eine bessere Wärmeableitung und mehr Arbeitsspeicher als Laptops. - **Die Arbeitsspeicher-Regel:** Mehr Arbeitsspeicher ist immer besser. - **Mindestanforderungen:** 16 GB–25 GB reichen für einfache Chat-Anwendungen aus; 48 GB sind die Grundvoraussetzung für echte Arbeit; 96 GB–128 GB sind ideal für Programmierung und agentenbasierte Workflows. - **Der Traum:** Mit 512 GB bis 1 TB RAM auf einem Mac Studio können Sie mit den modernsten Cloud-Modellen mithalten.

**Chip-Generationen** - **M4/M5:** Mit diesen Modellen hat Apple ernsthaft mit KI begonnen. M5-Chips eignen sich hervorragend für lokale Agenten. - **M3 Ultra:** Das absolute Minimum in der Ultra-Serie für High-End-Leistung. - **Bandbreite:** Chips der höheren Klassen (Max/Ultra) bieten eine bessere Speicherbandbreite, was für die Modellgeschwindigkeit entscheidend ist.

**Modelle verstehen** - **Hugging Face:** Das wichtigste Repository für Open-Source-Modelle. - **Quantisierung:** Verringerung der Modellgröße (z. B. auf 4 Bit oder 8 Bit), damit das Modell bei minimalem Verlust an Intelligenz in den Arbeitsspeicher passt. - **Dense vs. MoE:** Dense-Modelle laden alle Parameter; Mixture-of-Experts-Modelle (MoE) nutzen aus Effizienzgründen aktive Teilmengen. - **Kontext (KV-Cache):** Das „Gedächtnis“ Ihrer Konversation. Achten Sie auf „Context Rot“, wenn der Verlauf wächst.

**Dienstprogramme** - **Ollama:** Ideal für Einsteiger; unterstützt Cloud-Shortcuts. - **LM Studio:** Eine benutzerfreundliche Schnittstelle für Hugging-Face-Modelle. - **OMLX:** Aufgrund der SSD-KV-Caching-Funktionen für fortgeschrittene Nutzer empfohlen.

**Einrichtung des Harness** - **Open Code / Claude Code:** Terminal- oder UI-basierte Tools, die eine Verbindung zu Ihrem lokalen Modell herstellen. - **Konfiguration:** Die meisten Tools erfordern eine einfache JSON-Konfiguration, um auf Ihren lokalen API-Endpunkt zu verweisen. - **Terminal-Grundlagen:** Verwendung von Tools wie Warp und grundlegenden Befehlen (cd, ls, mkdir) zur Verwaltung Ihrer lokalen Agentenumgebung.

**Leistungsfaktoren** - **Vorladezeit:** Lokale Modelle weisen auf dem Mac eine langsame Anfangsreaktionszeit auf. - **Wärmeentwicklung:** Rechenintensive KI-Aufgaben beanspruchen Ihre GPU bis zum Maximum und erzeugen erhebliche Wärme. - **Multitasking:** Bildschirmaufnahmen oder andere ressourcenintensive Anwendungen verlangsamen Ihre lokale KI.