Über dieses Video
Die meisten Menschen verschwenden ihr Geld für Hardware, die den Anforderungen der Zukunft der lokalen KI nicht gewachsen ist. Ich stehe kurz davor, einen M5 Max mit 128 GB RAM zu kaufen, um die absoluten Grenzen der lokalen Inferenz auszuloten, aber ich brauche zuerst euer Feedback. Die wichtigsten Erkenntnisse: - Basismodelle wie der M5 Air erweisen sich für den ernsthaften, professionellen Einsatz von KI als unzureichend. - Es sind Tests erforderlich, um die „absolute Mindestausstattung“ an Hardware für komplexe Aufgaben zu ermitteln. - Dank High-End-Spezifikationen können wir genau erkennen, wie viel RAM große Kontextfenster und MoE-Modelle tatsächlich verbrauchen. - Der Input der Community ist entscheidend, um zu entscheiden, welche Modelle und Workflows (Programmierung, Administration, Crawling) getestet werden sollten. - Ich fungiere als Versuchskaninchen, um euch davor zu bewahren, einen teuren Hardware-Fehler zu begehen.
Ihr aktueller Laptop ist für moderne lokale KI wahrscheinlich nur noch ein Briefbeschwerer.
Die Marketingabteilungen großer Technologieunternehmen betonen gerne, dass ihre neuesten Chips dank einer speziellen Neural-Engine „KI-fähig“ sind. Die Realität sieht jedoch so aus, dass dies weitaus teurer und speicherintensiver ist, als den meisten Verbrauchern bewusst ist.
Ich stehe gerade vor einer bedeutenden Investition: einem MacBook Pro M5 Max mit 128 GB Unified Memory. Bevor ich den Sprung wage und ein kleines Vermögen ausgebe, muss ich wissen, ob ihr diesen Weg mit mir gemeinsam gehen wollt.
Die Realität des Basismodells
Ich habe viel Zeit damit verbracht, das M5 Air und das Basis-MacBook Pro auf Herz und Nieren zu prüfen. Zwar sind sie fantastische Geräte für allgemeine Produktivitätsaufgaben, stoßen jedoch an ihre Grenzen, sobald man sie mit komplexen lokalen Inferenzaufgaben oder großen Kontextfenstern betraut. Mein bisheriges Fazit ist einfach: Für einen professionellen, lokalen KI-Workflow reichen sie noch nicht ganz aus.
Der „Discovery“-Tarif mit 128 GB
Indem ich einen Rechner mit 128 GB RAM teste, kann ich genau beobachten, wie viel Arbeitsspeicher von bestimmten Aufgaben belegt wird. Dabei geht es mir nicht darum, anzugeben, sondern darum, den „Sweet Spot“ für alle anderen zu finden. Ich möchte herausfinden:
- Wie sich 200.000 Kontextfenster unter hoher Auslastung tatsächlich verhalten.
- Die tatsächliche RAM-Auslastung von Mixture-of-Experts-Modellen (MoE).
- Ob Programmierassistenten, die lokale Modelle ausführen, mit professionellen Entwicklern mithalten können.
Nimm mich als Versuchskaninchen
Ich möchte die absolut erforderliche Mindestausstattung ermitteln, indem ich beobachte, wie viel der maximalen Hardware tatsächlich genutzt wird. Gebt euer hart verdientes Geld nicht aus, bevor wir wissen, wo der Punkt abnehmender Erträge liegt.
Welche Modelle sollte ich zuerst testen? Interessiert ihr euch eher für Qwen, Gemma oder etwas Unbekannteres? Lasst mich wissen, was ihr gerne sehen würdet.
Transkript▾
Leute, ich hab’s endlich geschafft. Nein, eigentlich doch nicht. Ich stehe kurz davor, mir einen M5 Max mit 128 Gig RAM zu kaufen, aber ich brauche euer Feedback. Ich brauche eure Meinung, bevor ich in so eine Maschine investiere. In letzter Zeit läuft der Kanal richtig gut, wenn es darum geht, herauszufinden, welche Hardware das absolute Minimum ist, das wir brauchen, um lokale KI-Modelle zu betreiben. Ich bekomme viele Kommentare zu diesen Videos, in denen die Leute nur lachen und sagen: „Oh, ich brauche die leistungsstärkste Maschine und dies und das.“ Ich weiß, dass man mit dem Geld, das man für die leistungsstärkste Hardware ausgeben könnte, die man zum Ausführen dieser Modelle benötigt, bis zum Mond und zurück fliegen könnte. Das macht natürlich total Sinn. Aber ich denke, wie viele meiner Zuschauer – und wahrscheinlich auch ihr selbst – sind wir daran interessiert zu erfahren, ob die Behauptungen dieser Unternehmen tatsächlich stimmen. Was ist die absolute Mindestausstattung an Hardware, die wir für lokale KI benötigen? Wisst ihr, ich habe eine Serie, in der ich mir das M5 Air anschaue. Ich habe eine ganze Serie, in der ich mir das M5 MacBook Pro anschaue – nur die Basismodelle – und was diese Geräte leisten können. Schaut euch das doch mal an, aber letztendlich komme ich zu dem Schluss, dass sie für einen echten KI-Einsatz noch nicht ganz ausreichen. Also muss ich wissen: Was macht ihr eigentlich mit eurer lokalen KI? Programmiert ihr? Chattet ihr einfach nur damit? Erledigt ihr tatsächlich Verwaltungsaufgaben? Führt ihr Open-Crawl-Aufgaben durch? Welche Tools nutzt ihr? Verwendet ihr Open-Code? Verwendet ihr Kilo-Code? Entwickelt ihr eure eigenen Tools mit der lokalen KI oder erstellt ihr eure eigenen Tools beispielsweise mit Claude und führt dann die Inferenz tatsächlich anhand eines lokalen Modells innerhalb dieses Tools durch? Ich weiß es nicht. Sagt mir genau, was ihr mit eurer lokalen KI macht. Ich möchte auch wissen, welche Modelle ihr einsetzt. Ich habe viel über Qwen und Gemma erfahren bzw. darüber gesprochen, da dies gewissermaßen die beiden konkurrierenden Produkte mit lokalen KI-Modellen für Verbraucherhardware sind. Welche Modelle würdet ihr gerne sehen? Und wie kann ich … und handelt es sich dabei um die kleinen Modelle, die Modelle mit 9 Milliarden Parametern, die größeren „Mixture of Experts“-Modelle oder das neue „Gemma Dense“-Modell, das sie herausgebracht haben? Und letztendlich: Was würdet ihr gerne sehen? Denn der Kauf eines so großen Rechners würde mir einfach nur viel Spielraum verschaffen. Aber im Sinne dieses Kanals und dessen, was sich in letzter Zeit entwickelt hat, interessiert uns wirklich, was die absolute Mindestanforderung an die Hardware ist. Nun könnte ich zwar 120 Gigabyte haben, aber das heißt nicht, dass ich das ausreizen sollte, denn ich möchte wissen, was das absolute Minimum ist. Wenn ich zum Beispiel ein größeres Modell mit 100.000 oder 200.000 Kontextinstanzen oder was auch immer ausführe – wie sieht es dann mit dem Arbeitsspeicher aus? Auch wenn ich theoretisch 128 Gigabyte habe: Liegt der Verbrauch bei 60? Sind es vielleicht sogar 70? Das gibt euch eine Vorstellung davon, welchen Mac ihr kaufen könnt, was die absolute Mindestausstattung ist und welche Leistung ihr davon erwarten könnt. Also noch einmal: Was würdet ihr gerne sehen, wenn ich in einen solchen Rechner investieren würde? Denn letztendlich ist er für euch. Er ist für uns. Er dient dazu, herauszufinden, was wir tun können und wie die Landschaft der lokalen KI aussieht. Es tut mir leid, dass ich euch auf die lange Bank geschoben habe. Ich habe den Rechner noch nicht, aber wenn genug Interesse und Neugierde da ist und ich einen klaren Überblick darüber bekomme, was ihr mit so einem Rechner sehen wollt … wenn es genug Inhalte gibt, die ich theoretisch produzieren könnte, dann besorge ich mir diesen Rechner nur zu gerne. Ich erstelle nur zu gerne genau die Inhalte, die ihr sehen wollt. Also ja, lasst es mich unten in den Kommentaren wissen. Gebt dem Beitrag ein „Gefällt mir“. Teilt ihn mit Leuten, die sich für solche Sachen interessieren. Nutzt mich als Versuchskaninchen, das ich nun mal bin, bevor ihr loszieht und euer hart verdientes Geld ausgebt. Also, abonniert den Kanal, falls ihr das noch nicht getan habt. Danke an meine Patrons, die mich direkt unterstützen. Bis zum nächsten Mal, bleibt am Ball.