Zum Hauptinhalt springen
23. Juli 202618:20 Uhr

Mit diesem 100-Dollar-Gadget habe ich meine lokale KI um 64 % beschleunigt!!

Von Samuel Gregory

Über dieses Video

Großer Lüfter (Großbritannien): https://amzn.to/4fMFkIR Großer Lüfter (USA): https://amzn.to/4fej0rB Kleiner Lüfter (Großbritannien): https://amzn.to/4wUFW55 Kleiner Lüfter (USA): https://amzn.to/4pxCGKf Ihr leistungsstarkes MacBook täuscht Sie hinsichtlich seiner Geschwindigkeit. In diesem Video teste ich, wie man die thermische Drosselung beim MacBook Pro mit M5 Max mithilfe externer Kühlsysteme unterbinden kann, um zu sehen, ob wir wirklich umfangreiche lokale KI-Modelle mit maximaler Leistung ausführen können. Die wichtigsten Erkenntnisse: - Warum das 14-Zoll-MacBook Pro bei hohen KI-Auslastungen drosselt. - Ein Vergleich zwischen den Kühlsystemen „Base V12“ und „V10“. - Wie man eine maßgeschneiderte „Dichtung“ herstellt, um die Kühleffizienz zu steigern. - Die Daten: Wie ich eine Steigerung der KI-Generierungsgeschwindigkeit um 64 % erreicht habe. - Warum lokale KI die Zukunft für Gründer ist, die Wert auf Geschwindigkeit und Datenschutz legen.

CAD-Dateien aus diesem Video

.zip herunterladen
  • panel.stepParametrisches CAD-Modell zur Bearbeitung in Fusion, FreeCAD usw.
  • panel.stlNetz, bereit für das Slicing und den 3D-Druck.
  • panel.pyPython-Skript zur Erstellung des Modells.

Die Ära der „Out-of-the-Box“-Einrichtung ist vorbei

Wenn Sie als Gründer ein MacBook Pro der Spitzenklasse nutzen, lassen Sie wahrscheinlich die Hälfte der Leistung ungenutzt. Wir kaufen diese Geräte wegen des Versprechens „grenzenloser“ Leistung, doch die Gesetze der Physik kümmern sich weder um Ihren Kontostand noch um Ihre RAM-Spezifikationen. Thermische Drosselung ist der stille Killer der Produktivität im Zeitalter der lokalen KI.

In meinem jüngsten Experiment habe ich ein MacBook Pro M5 Max in der Spitzenausstattung mit 128 GB RAM mit einem lokalen Codierungsmodell mit 35B bis an seine Grenzen gebracht. Die Ergebnisse waren eindeutig: Das 14-Zoll-Modell eignet sich zwar perfekt für den vielreisenden CEO, ist jedoch einfach nicht in der Lage, die Wärmeentwicklung bei anhaltenden KI-Workloads zu bewältigen.

Das Problem: Die Portabilitätssteuer

Wir haben uns für das 14-Zoll-Modell entschieden, weil wir Wert darauf legen, zwischen Cafés, Besprechungsräumen und dem Homeoffice hin- und herwechseln zu können. Wenn man jedoch lokale LLMs ausführt, verwandelt sich dieses kleine Gehäuse in einen Backofen. Innerhalb weniger Minuten drosselt das System die Taktrate, um Schäden zu vermeiden, und verwandelt Ihr 4.000-Pfund-Kraftpaket damit praktisch in einen Mittelklasse-Rechner.

Die Lösung: Maßgeschneiderte Kühlung

Ich habe zwei Kühlsysteme getestet: das Base V12 und das V10. Das Ziel war es, herauszufinden, ob wir die Leistung eines 16-Zoll-Geräts mit der Mobilität eines 14-Zoll-Geräts verbinden können.

Die Ergebnisse waren erschütternd:

  1. Der „Swimming-Pool“-Effekt: Hochwertige Kühler schaffen eine abgeschlossene Umgebung mit hohem Luftdruck.
  2. Maßgeschneiderte Konstruktion: Ich musste aus der Verpackung selbst eine spezielle „Vorrichtung“ basteln, um sicherzustellen, dass die Luft präzise in die Lüftungsöffnungen des Mac geleitet wurde.
  3. Der ROI: Eine Steigerung der Token-Generierungsgeschwindigkeit um 64 %.

Warum dies für Gründer wichtig ist

Bei lokaler KI geht es um mehr als nur Geschwindigkeit: Es geht um Datenhoheit und persönliche Software. Wenn Sie Ihre Modelle lokal ausführen, verbleibt Ihr geistiges Eigentum auf Ihrer Hardware. Damit lokale KI jedoch zu einem praktikablen Bestandteil Ihres Arbeitsablaufs wird, muss sie schnell sein.

Sie brauchen keinen Mac Studio, um Leistung auf Profi-Niveau zu erzielen. Was Sie brauchen, ist ein strategischer Ansatz für Ihre Hardware-Konfiguration. Manchmal bedeutet das, 98 £ für einen Lüfter auszugeben und ein wenig Zeit in eine selbstgemachte Dichtung zu investieren, um das wahre Potenzial Ihres Chips auszuschöpfen.

Bleib weiter in Stimmung.

Transkript▾

Also, ich habe mir kürzlich dieses MacBook Pro M5 Max mit 128 Gig RAM gekauft, um all die Vorteile der lokalen KI nutzen zu können. Es ist ein 14-Zoll-Modell, und ich habe die Kommentare zum Thema thermische Drosselung gelesen. Das war mir von vornherein bewusst, aber mir persönlich gefällt einfach die 14-Zoll-Größe. Die thermische Drosselung ist ein Problem, und ich weiß, dass ich nicht das Beste aus dem Gerät herausholen werde, wenn ich die 128 Gig bei der lokalen KI voll ausnutze.

Ich habe ein Kühlsystem gefunden, das dem 14-Zoll-Modell hoffentlich genau den zusätzlichen Kühlschub verleiht, den es auf meinem Schreibtisch braucht. Funktioniert es? Wird es meine KI schneller machen? Wir stellen es auf die Probe, damit ihr Mobilität mit einem echten Kühlkraftpaket verbinden könnt.

Ich habe noch niemanden gesehen, der speziell Videos zur Verwendung dieser Geräte für KI-Anwendungen gedreht hat. Gamer nutzen sie zwar, aber niemand beschäftigt sich mit KI-Themen – vielleicht sind wir hier also die Ersten. Dieses Kühlpad erzeugt mit den Lüftern eine Art „Swimmingpool“-Effekt. Es kostet 98 £, ist also nicht gerade billig.

Die Software läuft nur auf PCs, da sie für Gamer gedacht ist, und ist nicht mit Mac OS kompatibel. Das ist schade, denn dadurch entgehen einem einige erweiterte Funktionen. Letztendlich habe ich kurzerhand einen maßgeschneiderten Rahmen gebastelt, um den Laptop zu befestigen und eine bessere Abdichtung zu erzielen. Dadurch wird verhindert, dass Luft an den Seiten entweicht, und sie wird direkt auf die Lufteinlässe geleitet.

Ich habe ein lokales Codierungsmodell vom Typ 35B getestet. Ohne Lüfter erreichte es fast sofort 90 Grad und drosselte dann die Leistung. Mit dem Lüfter und meiner selbstgebauten Halterung erreichte es zwar ebenfalls 90 Grad, blieb aber auf diesem Wert stabil und hielt die Leistung aufrecht. Die Ergebnisse waren unglaublich: 2 Minuten und 49 Sekunden im Vergleich zu über 7 Minuten.

Ich habe auch einen kleineren Lüfter, den V10, getestet, der jedoch nicht so gut abschnitt. Nach Mittelwertbildung der Testergebnisse führte der größere Lüfter zu einer Steigerung der Token pro Sekunde um 64,12 %. Die Diagramme des Power-Gadgets zeigen, dass die Taktrate mit dem Lüfter deutlich länger aufrechterhalten wird, während die GPU ohne ihn erheblich gedrosselt wird.

Das Fazit? Sie werden definitiv eine Geschwindigkeitssteigerung feststellen. Wenn Sie die Mobilität eines 14-Zoll-Geräts, aber gleichzeitig die Leistung für anspruchsvolle KI-Aufgaben zu Hause wünschen, ist dies eine sinnvolle Option. Man fragt sich zwar, ob ein Mac Studio nicht die bessere Wahl wäre, aber für alle, die viel unterwegs sind, ist dieser Hardware-Hack ein echter Durchbruch.