Über dieses Video
Ihr Mac ist ein wahres Kraftpaket, das Sie wahrscheinlich nur für einfache Tabellenkalkulationen und E-Mails nutzen. In diesem Video tauchen wir tief in Apples offizielles MLX LM-Framework ein, um Ihnen zu zeigen, wie Sie lokale KI-Modelle mit hoher Geschwindigkeit direkt auf Ihrem Rechner ausführen können. Wir überwinden die Einschränkungen von GGUF und erkunden die enorme Geschwindigkeit der nativen Apple-Silicon-Optimierung.\n\nDie wichtigsten Erkenntnisse aus dem Video:\n- Warum MLX für Apple-Silicon-Nutzer die bessere Wahl ist als GGUF.\n- Wie man MLX LM mit Python und Conda installiert und konfiguriert.\n- Schritte, um ein Modell lokal bereitzustellen und es mit Tools wie Open Code zu verbinden.\n- Wie man mit Pi Agent das lokale Modell in einen funktionsfähigen Systemassistenten verwandelt.\n- Das grundlegende Wissen, das erforderlich ist, um letztendlich mehrere Macs miteinander zu verknüpfen und so massive VRAM-Gewinne zu erzielen.
OpenCode-Konfiguration
"mlx": {
"npm": "@ai-sdk/openai-compatible",
"name": "MLX (local)",
"options": {
"baseURL": "http://127.0.0.1:8080/v1"
},
"models": {
"mlx-community/gemma-4-e2b-it-4bit": {
"name": "Gemma 4"
}
}
}Pi-Konfiguration
"mlx": {
"baseUrl": "http://127.0.0.1:8080/v1",
"api": "openai-completions",
"apiKey": "null",
"models": [
{
"id": "mlx-community/gemma-4-e2b-it-4bit",
"name": "Gemma 4"
}
]
}Warum Ihr Mac insgeheim ein KI-Kraftpaket ist
Die Cloud ist eine Krücke, die Ihre Entwicklung bremst. Viel zu lange wurde uns eingeredet, dass anspruchsvolles maschinelles Lernen riesige Serverfarmen und monatliche Abonnements erfordert, doch die Wahrheit liegt direkt auf Ihrem Schreibtisch. Mit den jüngsten Ankündigungen auf der WWDC hat Apple deutlich gemacht, dass lokale KI die Zukunft ist – und dass das MLX-Framework der Schlüssel dazu ist.
Die Leistungsfähigkeit von MLX
MLX ist ein Open-Source-Framework, das speziell für Apple Silicon entwickelt wurde. Im Gegensatz zu herkömmlichen Methoden wie GGUF wurde MLX von Grund auf so konzipiert, dass es die Vorteile der einheitlichen Speicherarchitektur Ihres Mac voll ausschöpft. Die Geschwindigkeitsunterschiede sind nicht nur spürbar, sie sind unvergleichlich. Wenn Sie sich ernsthaft mit lokalen LLMs beschäftigen, sollten Sie die Tools verwenden, die speziell für Ihre Hardware entwickelt wurden.
Einrichten Ihrer lokalen Umgebung
Der Einstieg ist bemerkenswert einfach. Mit Python und pip können Sie die MLX-LM-Bibliothek installieren und innerhalb weniger Minuten damit beginnen, Antworten aus Modellen wie Gemma oder Quen zu generieren. Für diejenigen, die eine übersichtlichere Konfiguration bevorzugen, ist die Verwendung von Conda zur Kapselung eine hervorragende Möglichkeit, Ihre Pakete zu verwalten, ohne Ihr System zu überladen.
Um ein Modell auszuführen, verwenden Sie den Befehl „generate“:
mlx_lm.generate --model [Modellname] --prompt „Hello World“
Über den Terminal hinaus
Das Ausführen eines Modells im Terminal ist erst der Anfang. Indem Sie das Modell lokal auf Ihrem Rechner bereitstellen, können Sie die Lücke zwischen einem rohen LLM und Ihrem tatsächlichen Arbeitsablauf schließen. Durch die Integration dieser Modelle in Tools wie Open Code oder Pi Agent können Sie Aktionen auf Ihrem gesamten Computer ausführen und so effektiv einen privaten, lokalen KI-Assistenten aufbauen, der Ihren Datenschutz gewährleistet.
Der Weg zu Multi-Mac-Clustern
Diese Konfiguration ist mehr als nur ein Partytrick. Sie bildet die Grundlage für etwas weitaus Leistungsstärkeres: die Vernetzung mehrerer Macs. Wenn Sie sich jetzt mit MLX vertraut machen, bereiten Sie sich auf eine Zukunft vor, in der Sie ein Modell auf den VRAM aller Macs in Ihrem Büro verteilen und so das letzte Quäntchen Leistung aus Ihrer Hardware herausholen können.
Warten Sie nicht länger auf die Cloud. Fangen Sie noch heute an, lokal zu entwickeln.
Transkript▾
Apples WWDC-Konferenz hat begonnen. Und damit haben sie eine ganze Reihe von Videos zu maschinellem Lernen und KI veröffentlicht – all das, was wir als KI-Entwickler so lieben. Ich habe mir diese Videos kurz angesehen und möchte nun einige meiner Erkenntnisse mit euch teilen, insbesondere dazu, wie sie ihre Modelle gerne lokal auf eurem Rechner ausführen. Wir werden nun eine Bibliothek namens MLX LM verwenden. Ich würde diese nicht unbedingt für die meisten Anwendungsfälle empfehlen. Allerdings handelt es sich hierbei um eine Art Grundlage oder Vorarbeit, die wir kennen müssen, um zu verstehen, wie man mehrere Macs miteinander vernetzt, um entweder ein Modell über den gesamten VRAM aller Geräte zu verteilen oder mithilfe ihres RAM und ihrer Leistungsfähigkeit mehr herauszuholen. Um es noch einmal zusammenzufassen: Wir werden ein lokales Modell mit MLX LM auf die Apple-Art ausführen. Wir werden dieses Modell lokal auf unserem Rechner bereitstellen, über Open-Source-Code darauf zugreifen und dieses lokale KI-Modell zum Schreiben von Code nutzen. Und als kleines Extra werden wir es in PI integrieren, damit ihr auf eurem Computer Maßnahmen ergreifen könnt. Was ist nun MLX? MLX ist ein Open-Source-Framework zum Ausführen und Trainieren lokaler Modelle speziell auf eurem Mac. Ich habe einen umfassenden Vergleich zwischen GGUF und MLX durchgeführt, und die Unterschiede sind unübertroffen. Mit MLX erreicht man einfach eine viel höhere Geschwindigkeit als mit GGUF. Ich habe den Test durchgeführt, weil Google TurboQuant veröffentlicht hatte und ich bisher noch keine einfache Möglichkeit gesehen habe, TurboQuant auf MLX-Modellen zu implementieren. Die Bibliothek, die wir verwenden werden, ist eine Python-Bibliothek namens MLX LM, und sie lässt sich sehr einfach installieren. Vorausgesetzt, Python und pip sind installiert, werden wir dies in unserem Terminal ausführen. Falls ihr Conda bevorzugt, das eine Art Kapselung darstellt – ich bin zwar kein Python-Experte, aber Conda ist die Lösung, wenn ihr eine Reihe von Paketen, eine bestimmte Python-Version usw. festlegen wollt. Conda dient dazu, all das zu kapseln, ähnlich wie Docker, das wir im Odysseus-Video behandelt haben. Wenn wir nun hier nach unten zur Befehlszeile scrollen, können wir buchstäblich „mlx generate“ eingeben, das Modell angeben und dann über die Eingabeaufforderung das Modell von Hugging Face abrufen, über das wir auf diesem Kanal schon ausgiebig gesprochen haben. Es ist im Grunde ein Repository für Modelle. Nehmen wir „Gemma for 2B“. Und dieses hier sollte passen. Übrigens, nach meinen Recherchen vor der Sendung – das ist keine Werbung für Warp –, muss man, um Gemma-Modelle zum Laufen zu bringen, eine bestimmte Version installieren, da das Modell noch nicht so aktualisiert wurde, dass es den neuen KV-Cache-Speicher unterstützt, den Gemma laut Apples Dokumentation für Quen 3.5 verwendet. Quen 3.5 hat dieses Problem offensichtlich nicht. Letztendlich musste ich eine bestimmte Version installieren, da eine Version von MLX einen Fehler enthielt und das Gemma-Framework nicht unterstützen konnte. Damit sollten wir nun in der Lage sein, „MLX generate“ auszuführen, das Modell herunterzuladen und eine Antwort zu erhalten. Um dies auf unserem lokalen Rechner bereitzustellen, starten wir einfach den MLX-LM-Server und übergeben ihm das Modell. Es sieht so aus, als würde das funktionieren – der Server läuft unter 127.0.0.1, Port 8080. Und wenn wir diese URL dort aufrufen, /v1/models, erhalten wir tatsächlich ein Ergebnis. In meinem Stammordner habe ich einen versteckten Konfigurationsordner namens „open code“; öffne „code.json“. Ich habe hier diesen Provider hinzugefügt. Die Links zu allem werde ich weiter unten bereitstellen. Außerdem habe ich dort ein Modell namens „Gemma 4“ aus der MLX-Community mit dem Namen „Gemma 4“ hinzugefügt. Wenn ich „open code“ starte, dort /connect mln eingebe, erhalten wir ein lokales Modell. Hallo, was macht dieser Code? Gemma 4 ist nicht das intelligenteste Modell. Es ist überhaupt nicht für das Programmieren gedacht, aber es läuft auf meinem lokalen Rechner. Mit einem leistungsstärkeren Modell, das besser auf das Programmieren abgestimmt ist, könnt ihr euch hier ein besseres Ergebnis vorstellen. Bei Pi ist es etwas anders. Auch hier hinterlasse ich unten Links zu allem, aber das befindet sich in meiner pi-Agent-Models.json im Stammordner und läuft unter „pi“. Klickt hier auf „Models“. Ihr solltet das Modell aus der MLX-Community finden können. Wir führen lokale Modelle aus. Das war also ein kurzer Einblick, wie Apple empfiehlt, diese lokalen Modelle auszuführen. Wie gesagt, es wird ein weiteres Video zu OMLX geben, in dem ich darauf eingehen werde – das ist aus Gründen, auf die ich in dieser Folge näher eingehen werde, eine bessere Methode, um diese lokalen Modelle auszuführen. Dies ist jedoch die Grundlage dafür, Modelle auf vielen, vielen Macs auszuführen und dabei die beste Leistung herauszuholen. Ich hoffe, es hat euch gefallen. Klickt auf „Gefällt mir“ und abonniert den Kanal, falls ihr das noch nicht getan habt. Bis zum nächsten Mal – bleibt am Ball!