Zum Hauptinhalt springen
30. Juni 20269:03

Endlich: Die RICHTIGE Methode, lokale KI auf einem Mac auszuführen

Von Samuel Gregory

Über dieses Video

SaaS entwickelt sich zu einer unnötigen Belastung für Innovationen. Dieses Video beleuchtet, warum OMLX die erste Wahl für Gründer ist, die die Kontrolle über ihre Daten zurückgewinnen und leistungsstarke LLMs lokal auf Mac-Hardware ausführen möchten. Die wichtigsten Erkenntnisse: - Warum OMLX für professionelle Mac-Workflows besser geeignet ist als Ollama und LM Studio. - Die technischen Vorteile von SSD-gestütztem Caching und LRU-Richtlinien für persistenten Kontext. - Wie man agentische Modelle wie Qwen 3.6 MoE für reale Programmieraufgaben einrichtet. - Eine detaillierte Analyse, warum der M5 Max derzeit der ideale Kompromiss für persönliche KI-Infrastruktur ist. - Praktische Schritte zur Integration lokaler Modelle in Tools wie Pie und Open Code.

{
  "schema": "https://opencode.ai/config.json",
  "provider": {
    "omlx": {
      "npm": "@ai-sdk/openai-compatible",
      "name": "oMLX (local)",
      "options": {
        "baseURL": "http://127.0.0.1:8000/v1",
        "apiKey": "YOUR-API-KEY"
      },
      "models": {
        "mlx-community/Qwen3.6-35B-A3B-OptiQ-4bit": {
          "name": "Qwen 3.6 OptiQ 35B"
        }
      }
    }
  }
}

Der Niedergang von SaaS und der Aufstieg persönlicher Software

Die Ära der SaaS-Steuer neigt sich abrupt dem Ende zu. Jahrelang wurde Gründern und CEOs eingeredet, dass der einzige Weg zum Zugriff auf modernste Analysedaten über ein monatliches Abonnement bei einem zentralen Anbieter führe. Das ist nun nicht mehr der Fall. Mit dem Aufkommen von M5-Chips und ausgeklügelten lokalen Laufprogrammen wie OMLX ist die „Personal Software“-Bewegung endlich da.

Warum lokale Lösungen für Gründer besser sind als Cloud-Lösungen

Daten sind das wertvollste Kapital, über das ein Unternehmen verfügt. Diese Daten zur Verarbeitung durch ein generisches Modell an einen Server eines Drittanbieters zu senden, stellt nicht nur ein Sicherheitsrisiko dar, sondern ist auch ineffizient. Durch die lokale Ausführung von Modellen gewährleisten Sie eine Latenzzeit von null, absolute Datenschutzsicherheit und eine Kostenstruktur, die sich nach Ihrer Hardware-Investition und nicht nach Ihrer Nutzerzahl richtet.

Der OMLX-Vorteil

Bei meinen jüngsten eingehenden Recherchen bin ich zu dem Schluss gekommen, dass OMLX die beste Lösung für Mac-Nutzer ist. Es baut auf der MLX-LLM-Bibliothek auf, ergänzt diese jedoch um eine entscheidende Ebene professioneller Funktionen:

  1. SSD-Caching: Im Gegensatz zu herkömmlichen Konfigurationen speichert OMLX Ihren Cache auf der SSD nach dem LRU-Prinzip (Least Recently Used). Das bedeutet, dass Kaltstarts schneller ablaufen und Ihr Kontext auch nach einem Neustart des Servers erhalten bleibt.
  2. Ressourceneffizienz: Es vermeidet den Overhead elektronenbasierter Alternativen. Wenn man 128 GB RAM nutzt, möchte man, dass dieser Speicher dem Modell vorbehalten ist und nicht der Benutzeroberfläche.
  3. Mehrstufige Architektur: Häufig genutzte Blöcke verbleiben im Arbeitsspeicher, während selten genutzte Blöcke auf die SSD verschoben werden, wodurch riesige Kontextfenster möglich sind, ohne dass das System abstürzt.

Die Hardware-Realität

Um SaaS wirklich ersetzen zu können, braucht man die richtige Ausrüstung. Der Betrieb von „Mixture of Experts“-Modellen (MoE) wie Qwen oder Gemma erfordert erhebliche Mengen an einheitlichem Arbeitsspeicher. Meine aktuelle Konfiguration auf dem M5 Max mit 128 GB RAM ermöglicht agentische Workflows, die es mit GPT-4 aufnehmen können – und das alles, ohne dass auch nur ein einziges Datenpaket mein lokales Netzwerk verlässt.

Fazit

Die Zukunft der Software liegt nicht im Abonnement, sondern in einem Vermögenswert. Durch Investitionen in lokale Infrastruktur und Open-Source-Modelle können Gründer einen eigenen Intelligence-Stack aufbauen, der ihnen tatsächlich gehört. Es ist an der Zeit, aufzuhören, sein Gehirn von den Big-Tech-Unternehmen zu mieten.

Transkript▾

Auf diesem Kanal sprechen wir viel über lokale LLMs. Ich habe unzählige Tests durchgeführt: Turbo Quant, GGML im Vergleich zu MLX – auf M5, auf M1, mit großem RAM, mit kleinem RAM. Zu welchem Ergebnis bin ich bei all diesen Erkundungen nun wirklich gekommen? Wo stehe ich im Juni 2026, was den Betrieb lokaler LLMs angeht? Wir werden das Ganze mit dem Agenten eurer Wahl einrichten, egal ob es sich um Claude, Code, Pi, Open Claude oder Hermes handelt. Und natürlich werde ich meine Überlegungen hinter all dem erläutern und alles so klar wie möglich für euch darlegen.

Ich bin hier bei OMLX gelandet. Das scheint die sauberste Methode zu sein, um Open-Source-LLMs lokal auf dem Mac auszuführen. Und dafür gibt es einige Gründe. Wir haben uns MLX LLM angesehen, eine Python-Bibliothek. Ich habe mir Osorus angesehen, worüber ich, glaube ich, noch kein Video gemacht habe, das euch aber vielleicht interessieren könnte. MLX macht etwas ganz Besonderes. Es ersetzt MLX LLM nicht unbedingt: Es ergänzt es lediglich um alle notwendigen Funktionen, wie zum Beispiel das Betreiben eines Servers, sowie eine raffinierte Zusatzfunktion, die euren Cache effektiv auf der SSD speichert – sogar zwischen Server-Neustarts.

Im Grunde bedeutet das, dass Sie bei Kaltstarts Ihres LLM schnellere Ergebnisse erzielen werden. Cache-Blöcke werden im „Safe Tensor“-Format auf der Festplatte gespeichert. Es handelt sich um eine zweistufige Architektur: „Hot“-Blöcke verbleiben im RAM, während „Cold“-Blöcke nach dem LRU-Prinzip (Least Recently Used) auf die SSD verschoben werden. Das heißt: Je älter ein Block ist, desto eher wird er in den Hintergrund verschoben oder gelöscht. Bereits bekannte Präfixe werden über Anfragen und Serverneustarts hinweg wiederhergestellt und niemals neu berechnet.

Außerdem bietet es uns eine wirklich ansprechende Benutzeroberfläche, auf die wir noch näher eingehen werden – insbesondere, wenn Sie mehrere Agenten oder verschiedene Testumgebungen betreiben. Hier kommt übrigens ein M3 Ultra mit 512 GB RAM zum Einsatz. Ich verwende einen M5 Max mit 128 GB RAM, der jedoch durchaus in der Lage ist, lokale LLMs auszuführen. Wie Sie hier sehen können, während der Kontext aufgebaut wird, entstehen dabei kaum nennenswerte Einbußen. Sobald der Kontext aufgebaut ist und das Caching einsetzt, lässt sich im Vergleich zum allgemeinen nativen KV-Cache-Speicher von MLX LM eine Geschwindigkeitssteigerung feststellen. Dieses OMLX bietet darüber hinaus noch zahlreiche zusätzliche Funktionen.

Ich habe mir Ollama und LM Studio genauer angesehen. Ollama führt nach und nach die Unterstützung für MLX-Modelle ein. LM Studio bietet eine ansprechende Benutzeroberfläche zum Herunterladen verschiedener Modelle, wobei der Schwerpunkt speziell auf MLX-Modellen liegt. Es ist eine großartige Möglichkeit für den Einstieg, wird aber zunehmend überladen, und ich wollte etwas deutlich Ausgereifteres. Wenn ich lokale LLMs auf meinem Rechner ausführe, möchte ich eine Lösung, die weniger Ressourcen beansprucht. Ich möchte keine Anwendungen laufen lassen: Ich möchte meinen Arbeitsspeicher für meine LLMs freihalten.

Sie können es von GitHub herunterladen. Dort sind zwar Vorabversionen verfügbar, aber Sie können einfach die DMG-Datei herunterladen. Über die Einstellungen können Sie das Web-Dashboard öffnen. Alle unsere Modelle werden im Grunde von Hugging Face heruntergeladen. Sie können nach dem gewünschten Modell suchen, zum Beispiel nach „Gemma 4 12B“. Ich suche meist bei MLX und wähle dort die beste quantisierte Version aus. Diese URL können Sie dann einfach in die Einstellungen kopieren.

Was agentische Aufgaben angeht, haben wir es eigentlich mit einer Mischung aus Expertenmodellen zu tun. Wir verfügen über das Expertenmodell „Qwen 3.6“ mit 8 Bit. Sobald Sie es heruntergeladen haben, können Sie es in Ihren Modellen einsehen. Der Server stellt Ihnen eine Reihe von Endpunkten zur Verfügung, die Ihnen mitteilen, was Sie konkret tun müssen. Wenn wir „Qwen“ auswählen, ist dies der Code, den Sie ausführen müssen, damit es mit unserem Modell läuft.

Der wichtigste Aspekt dabei ist die Betrachtung des Caches. Wir können sehen, welche Geschwindigkeit wir erreichen, wie viele Tokens zwischengespeichert wurden und welche Effizienzgewinne sich daraus ergeben. Dafür nutzen wir außerdem etwa 80 Gigabyte RAM. Auch wenn das Modell 36 ist, hat der Kontext einen Einfluss auf die benötigte RAM-Kapazität. Dank der Speicherung des Caches auf der SSD gehen Ihnen keine der Leistungssteigerungen verloren, die Sie mit Ihrer bisherigen Arbeit erzielt haben.

Ich führe meine lokalen Modelle in der Regel im Open-Code-Modus aus, da Claude-Code dafür bekannt ist, den Kontext aufzublähen. Ich möchte den Kontext erhalten, da ich nur über begrenzte Hardware-Ressourcen verfüge. Bei Anwendungen wie Pie, bei denen man mehrere verschiedene Anbieter nutzen kann, haben wir einen neuen namens OMLX erstellt, der auf die Basis-URL verweist. Das hat mir dabei geholfen, bei OMLX Fuß zu fassen. Ich werde meine Modelle in Zukunft auf diese Weise ausführen. Freut euch auf weitere Videos zum Trainieren und Erstellen von Apps mit diesen LLMs. Likt, abonniert und bleibt am Ball.