Über dieses Video
Cloud-basierte KI ist offiziell eine veraltete Lösung für Entwickler, denen ihre Privatsphäre und ihr Geldbeutel am Herzen liegen. In diesem Video gehe ich ausführlich auf DS4 (Dwarf) ein, das Projekt, mit dem Sie das riesige DeepSeek-V4-Modell auf Ihrer lokalen Hardware ausführen können. Wir behandeln alles von der ersten Einrichtung im Terminal bis hin zur Erstellung einer voll funktionsfähigen OCR-Anwendung unter Verwendung lokaler Inferenz. Die wichtigsten Erkenntnisse: - DeepSeek V4 Flash ist derzeit das am schnellsten wachsende Modell auf Alama. - Mit DS4 lassen sich Modelle mit 1,6 T Parametern auf Macs mit 128 GB oder 512 GB ausführen. - Schritt-für-Schritt-Anleitung zum Klonen, Erstellen und lokalen Bereitstellen des Modells. - So integrieren Sie lokale Modelle in Entwicklertools wie Open Code und VS Code. - Praxistest: Erstellung eines Dokumentenscanners in weniger als 3 Stunden mit einer Geschwindigkeit von 23 Tokens pro Sekunde.
Die Cloud ist ein goldener Käfig: Warum Sie DeepSeek lokal ausführen müssen
Ihre Hardware läuft im Leerlauf, während Sie Geld in API-Abonnements für Modelle stecken, die Ihnen nicht einmal gehören. Die Veröffentlichung von DeepSeek V4 hat die Landschaft der Open-Source-KI verändert, doch die wahre Magie entfaltet sich erst, wenn Sie diese Leistungsfähigkeit mithilfe des DS4-Projekts (Dwarf) bei sich zu Hause nutzen.
Was ist DS4?
DS4 ist eine hochoptimierte Implementierung auf Basis von Llama.cpp, mit der Sie die DeepSeek V4-Versionen „Flash“ und „Pro“ auf handelsüblicher Hardware ausführen können. Ganz gleich, ob Sie ein MacBook Pro mit 128 GB oder einen High-End-PC mit Nvidia-Grafikkarte nutzen – diese Codebasis überbrückt die Kluft zwischen enormen Parameteranzahlen und lokalen VRAM-Beschränkungen.
Der Einrichtungsprozess
Der Einstieg ist überraschend einfach. Sie klonen einfach das Repository, führen den für Ihre Hardware geeigneten „make“-Befehl aus (Metal für Mac, CUDA für Nvidia) und laden das spezifische quantisierte Modell herunter, das zu Ihrem Speicherprofil passt. Für Nutzer mit 128 GB RAM sind die 2-Bit- oder 4-Bit-quantisierten Versionen des Modells mit 1,6 Billionen Parametern nun endlich in greifbarer Nähe.
Leistung im Praxiseinsatz
Bei meinen Tests ermöglichte die Integration von DS4 mit Open Code, dass das Modell als vollständig autonomer Agent fungierte. Die Implementierung einer komplexen Anwendung zum Scannen von Dokumenten dauerte zwar fast drei Stunden, erfolgte jedoch mit einer durchschnittlichen Geschwindigkeit von 23 Tokens pro Sekunde. Das ist ein beeindruckendes Produktivitätsniveau für ein System, das vollständig auf einem lokalen Rechner läuft, ohne dass externe Daten an Dritte gesendet werden.
Abschließende Gedanken
Die Tage, in denen man an einen Server gebunden ist, sind gezählt. Durch die Optimierung des Umgangs mit „Mixture-of-Experts“-Algorithmen und Quantisierung sorgen Projekte wie DS4 dafür, dass die leistungsstärksten KI-Modelle der Welt für alle zugänglich werden. Warten Sie nicht länger auf eine bessere API, sondern legen Sie los – mit der Hardware, die Sie bereits besitzen.
Transkript▾
DeepSeek V4 Flash ist derzeit das am schnellsten wachsende Modell auf der Alama-Plattform. DeepSeek hat neue Maßstäbe gesetzt, was die für das Training eines hochleistungsfähigen Modells erforderlichen Ressourcen angeht. Die Flash-Version verfügt über 304 Milliarden Parameter, während die Pro-Version 1,6 Billionen Parameter aufweist, darunter 13 Milliarden aktivierte Parameter in ihrem „Mixture of Experts“-Algorithmus.
In diesem Video stellen wir ein Projekt namens DS4 (auch „Dwarf“ genannt) vor, das es ermöglicht, eine quantisierte Version von DeepSeek auf lokaler Hardware auszuführen. Ich habe dies mit MLX auf dem Mac verglichen, und DS4 schneidet aufgrund cleverer algorithmischer Änderungen auf der Gewichts-Ebene deutlich besser ab. Es läuft auf Metal für Mac, auf Nvidia-Hardware und sogar auf ROCM für Framework-Desktops.
Um dies einzurichten, müssen Sie das DS4-GitHub-Repository klonen und den für Ihr System spezifischen „make“-Befehl ausführen. Dadurch werden die Dateien mithilfe von Llama.cpp mit spezifischen Optimierungen gebündelt. Je nach Arbeitsspeicher können Sie zwischen verschiedenen Quantisierungsstufen wählen, die von 2-Bit-Versionen für Systeme mit 128 GB bis hin zu größeren Versionen für Mac Studios reichen.
Sobald das Modell erstellt ist, können Sie es über eine Befehlszeilenschnittstelle (CLI) ausführen oder über den DS4-Server in Tools wie Open Code oder Claude Code darauf zugreifen. Durch die Konfiguration Ihres lokalen Hosts und Ports können Sie DeepSeek als lokalen Anbieter für Ihren Entwicklungsworkflow nutzen.
In meinem Praxistest habe ich DeepSeek zur Implementierung einer Anwendung zum Scannen von Dokumenten verwendet. Trotz des durch die Bildschirmaufzeichnung verursachten Mehraufwands wurden durchschnittlich 23 Token pro Sekunde verarbeitet. Der Vorgang dauerte etwa 2 Stunden und 44 Minuten, aber das Ergebnis war eine voll funktionsfähige Anwendung mit einer verbesserten Benutzeroberfläche. Dies beweist, dass Modelle mit einer großen Parameteranzahl erfolgreich auf handelsüblicher Hardware ausgeführt werden können.