Über dieses Video
Cloud-KI ist ein Albtraum für den Datenschutz, dem Sie endlich entkommen können. Dieses Video zeigt, wie das neue Hermes-Update die Einrichtung lokaler Modelle mit nur einem Klick ermöglicht und damit komplexe Konfigurationsdateien sowie manuelles Ausprobieren der Hardware überflüssig macht. \n\nDie wichtigsten Erkenntnisse:\n- So richten Sie lokale Modelle in Hermes mit einem einzigen Klick ein.\n- Den Unterschied zwischen der Leistung von GGUF und MLX verstehen.\n- Verwendung benutzerdefinierter Endpunkte wie OMLX zum Ausführen von 27b-Modellen.\n- Praktische Hardwaretests mit komplexen Logikrätseln.
Die Komplexität lokaler KI war eine Lüge, die darauf abzielte, dass ihr weiterhin für API-Token bezahlt.
Viel zu lange kam es einem so vor, als würde man versuchen, in der eigenen Garage eine Rakete zu bauen, wenn man ein ordentliches großes Sprachmodell auf der eigenen Hardware ausführen wollte. Man verbrachte einen ganzen Abend damit, sich mit Umgebungsvariablen, Konfigurationsdateien und Terminalbefehlen herumzuschlagen, nur um aus einem 7-Milliarden-Modell eine einzige Eingabeaufforderung herauszubekommen. Diese Zeiten sind nun endgültig vorbei. Mit dem neuesten Update der Hermes-Plattform hat die lokale KI ihren „Plug-and-Play“-Moment erreicht.
Die Ein-Klick-Revolution
Das größte Hindernis für den Einstieg in lokale KI war schon immer die Hardwarekompatibilität. Die meisten Nutzer wissen nicht, ob ihre GPU ein Modell mit 27 Milliarden Parametern bewältigen kann oder ob sie sich besser an eine 4-Bit-quantisierte Version von Qwen halten sollten. Hermes löst dieses Problem nun, indem es Ihr System automatisch scannt und Modelle empfiehlt, die tatsächlich zu Ihrem VRAM passen.
Sie müssen weder Ihr Kontextfenster erraten noch Ihre Wiederholungsstrafe manuell festlegen. Das Programm übernimmt die ganze Arbeit, sodass Sie von der Installation bis zur ersten lokalen Eingabeaufforderung in weniger als 15 Minuten gelangen.
GGUF versus MLX: Geschwindigkeit und Kompatibilität
Während GGUF nach wie vor der Goldstandard für umfassende Kompatibilität ist – insbesondere auf Apple Silicon –, hat MLX in puncto reiner Geschwindigkeit oft die Nase vorn. Die Hermes-Schnittstelle ermöglicht es Ihnen, diese beiden Welten miteinander zu verbinden. Durch die Verwendung benutzerdefinierter Endpunkte wie OMLX können Sie die spezifischen Leistungsvorteile von MLX-Modellen nutzen und gleichzeitig den reibungslosen, agentenbasierten Workflow der Hermes-Schnittstelle beibehalten.
Wir haben dies mit einem 27b-Qwen-Modell getestet, und die Ergebnisse waren atemberaubend. Das Modell identifizierte korrekt die 43 Quintillionen möglichen Konfigurationen eines 3x3-Rubik-Würfels und nutzte dabei die GPU zu 100 % aus. Dies ist nicht nur ein Spielzeug, sondern ein professionelles Werkzeug, das vollständig offline läuft.
Warum Sie noch heute wechseln sollten
- Datenschutz: Ihre Daten verlassen zu keinem Zeitpunkt Ihren Computer.
- Kosten: Keine Abonnementgebühren oder Token-Kosten.
- Einfachheit: Keine endlosen Ollama-Terminal-Marathons mehr.
Wenn Sie auf einen Grund gewartet haben, Ihre KI lokal zu nutzen, dann ist dies der richtige. Laden Sie die neueste Version herunter, überprüfen Sie die Einstellungen Ihres Anbieters und finden Sie heraus, wozu Ihr Gerät wirklich in der Lage ist.
Transkript▾
Hermes hat gerade lokale Modelle eingeführt und damit eines der größten Probleme gelöst, mit denen Nutzer konfrontiert sind: Welches ist das beste Modell für mein Gerät? Bisher musste man einen ganzen Abend damit verbringen, sich mit Konfigurationsdateien und zusätzlichen Prozessen herumzuschlagen: Man musste das lokale Modell in einer App ausführen, während man es gleichzeitig in Hermes nutzte, und dabei Kontextlängen sowie Modelleinstellungen wie die Wiederholungsstrafe und „Top K“ schätzen. Am Ende dieses Videos werden Sie über eine Ein-Klick-Konfiguration für lokale Modelle verfügen, die auf Ihrem Hermes-Agenten laufen, wobei Ihre lokalen Modelle hinzugefügt werden, ohne dass Sie sie neu laden müssen.
In Kapitel 3 dieses Videos werde ich darauf eingehen, warum ich die von Hermes bereitgestellte Schaltfläche nicht mehr verwende – nicht, weil sie defekt ist, sondern weil eine bestimmte Zahl in der Benutzeroberfläche nicht angezeigt wird. Aus diesem Grund scheinen einige lokale Modelle unbrauchbar zu sein, und die meisten Nutzer geben nach einer Woche auf. Der Aufwand beträgt etwa 15 Minuten Ihrer Zeit sowie ein paar zusätzliche Megabyte für den Download der Laufzeitumgebung, zuzüglich der Modellgröße.
Wenn Sie Hermes starten, gehen Sie zu den Einstellungen und unter „Provider“ finden Sie die neue Liste der lokalen Modelle. Stellen Sie sicher, dass Sie die neueste Version verwenden. Unter „Provider“ erhalten Sie Modellempfehlungen. Oft wird dort Qwen vorgeschlagen. Ich kann ein 35b-Modell mit 21 GB Speicherplatz ausführen. Unter „Konfiguration“ wird ein 27b-3.8-Modell angezeigt, das zwar kleiner ist, aber kein „Mixture of Experts“ (MoE) darstellt, was von Agenten-Workflows bevorzugt wird. Sie können andere Modelle herunterladen, allerdings wird möglicherweise angezeigt, dass diese für das Gerät zu groß sind. Es kann ein vollständiges Kontextfenster von 256k verarbeiten.
Du kannst Modelle von Hugging Face hinzufügen. Überprüfe in den GGUF-Dateien, ob sie zu deiner GPU passen. Normalerweise klickst du einfach auf „Für mich einrichten“ und der Download erfolgt automatisch. Wenn dir das einen Abend Arbeit bei der Einrichtung von Ollama erspart, hinterlasse bitte ein „Gefällt mir“.
Nach der Installation scrollen Sie zum Abschnitt „Local“, um das Modell auszuwählen. Test mit einem 3x3-Rubik-Würfel: Die GPU-Auslastung erreicht 100 % und Qwen meldet 43 Quintillionen Kombinationen. Bei vorhandenen Modellen können Sie eine Modelldatei hinzufügen. Hugging Face speichert diese normalerweise in Ihrem Stammordner. Wenn Sie mit der Tastenkombination „Befehlstaste + Umschalttaste + Punkt“ versteckte Dateien anzeigen, überprüfen Sie den Cache.
Eine Hürde besteht darin, dass MLX-Modelle hier nicht nativ ausgeführt werden können. Sowohl GGUF als auch MLX funktionieren auf dem Mac, aber MLX ist oft schneller. Wenn Sie MLX nutzen möchten, verwenden Sie einen Server wie OMLX. Ich habe ein 27b-4-Bit-Qwen-Modell, das über einen benutzerdefinierten Endpunkt auf Port 8006 verbunden ist. Dichte Modelle wie die 27b-Version sind zwar langsamer, aber oft leistungsfähiger als MoE-Versionen.
Die lokalen Modelle von Hermes sind die beste Umsetzung, die ich je gesehen habe. Allein schon die Kompatibilitätsprüfung löst das größte Problem für Anfänger. Laden Sie Hermes jetzt herunter und sehen Sie selbst, was Sie damit ausführen können.