Zum Hauptinhalt springen
3. August 202610:23

DeepSeek v4 0731 ist ENDLICH für DwarfStar (DS4) verfügbar!!!

Von Samuel Gregory

Über dieses Video

Hören Sie auf, Ihren proprietären Code in die Cloud zu senden, und führen Sie stattdessen umfangreiche Modelle mit 304B Parametern lokal auf Ihrem Mac aus. In diesem Video werden das neueste DeepSeek-0731-Update sowie die Verwendung von Dwarf Star zur Quantisierung für Ihre eigene Hardware erläutert. Die wichtigsten Erkenntnisse: - So aktualisieren Sie das DS4-Repo, um das neueste DeepSeek-0731-Modell zu unterstützen. - Der Wechsel von 158B auf 304B Parameter und was dies für die agentische Kodierung bedeutet. - Realistische Leistungsbenchmarks auf M5 Max- und Mac Studio-Hardware. - Warum die Erweiterung Ihres Kontextfensters auf 100k für komplexe Projekte unerlässlich ist. - Ein Vergleich der lokalen DeepSeek-Leistung mit cloudbasierten Modellen wie Claude.

Modelldateinamendownload_model.sh
# download_model.sh
Q2_IMATRIX_FILE="${Q2_IMATRIX_FILE:-DeepSeek-V4-Flash-IQ2XXS-w2Q2K-AProjQ8-SExpQ8-OutQ8-chat-v2-imatrix.gguf}"
Q4_IMATRIX_FILE="DeepSeek-V4-Flash-Q4KExperts-F16HC-F16Compressor-F16Indexer-Q8Attn-Q8Shared-Q8Out-chat-v2-imatrix.gguf"

REPO="Rednalreden/DeepSeek-V4-Flash-0731-dwarfstar-q2-gguf" Q2_IMATRIX_FILE="DeepSeek-V4-Flash-0731-IQ2XXS-w2Q2K-AProjQ8-SExpQ8-OutQ8-imatrix.gguf" ./download_model.sh q2-imatrix
Starten Sie den ServerEin Modell wurde heruntergeladen – Host und Port sind optional
./ds4-server --metal --host 0.0.0.0 --port 8765
Starten Sie den Server und wählen Sie ein Modell ausEs wurden mehrere Modelle heruntergeladen – benennen Sie das gewünschte Modell
./ds4-server --model gguf/DeepSeek-V4-Flash-0731-IQ2XXS-w2Q2K-AProjQ8-SExpQ8-OutQ8-imatrix.gguf --metal --host 0.0.0.0 --port 8765
OpenCode-Konfiguration~/.config/opencode/opencode.json
{
  "$schema": "https://opencode.ai/config.json",
  "provider": {
    "ds4": {
      "name": "ds4",
      "npm": "@ai-sdk/openai-compatible",
      "options": {
        "baseURL": "http://127.0.0.1:8765/v1",
        "apiKey": "dsv4-local"
      },
      "models": {
        "deepseek-v4-flash": {
          "name": "DeepSeek V4 Flash",
          "limit": {
            "context": 100000,
            "output": 384000
          }
        }
      },
      "variants": {
        "high": {
          "reasoningEffort": "high",
          "textVerbosity": "low",
          "reasoningSummary": "auto"
        },
        "low": {
          "reasoningEffort": "low",
          "textVerbosity": "low",
          "reasoningSummary": "auto"
        }
      }
    }
  }
}

Die Ära, in der man Fachwissen von den Giganten aus dem Silicon Valley mietet, neigt sich dem Ende zu.

Viel zu lange waren Gründer und CEOs gezwungen, ihr wertvollstes Kapital – ihr geistiges Eigentum – gegen die Bequemlichkeit cloudbasierter KI-Agenten einzutauschen. Jedes Mal, wenn Sie ein „Frontier“-Modell mit Ihrer firmeneigenen Codebasis füttern, geben Sie im Grunde genommen das Geheimnis Ihres Unternehmens in eine Blackbox ein. Doch die Veröffentlichung von DeepSeek Version 0731 in Kombination mit der Quantisierungsmagie von Dwarf Star hat die Abwägungen moderner Führungskräfte grundlegend verändert.

Lokale Informationen sind der neue Wettbewerbsvorteil

Mittlerweile laufen Modelle mit 304 Milliarden Parametern lokal auf handelsüblicher Hardware. Mit einem leistungsstarken MacBook Pro oder einem Mac Studio können Sie einen Programmieragenten betreiben, der sich mit den besten der Welt messen kann, ohne dass auch nur ein einziges Datenpaket Ihr sicheres Netzwerk verlässt. DeepSeek 0731 hat seine Parameteranzahl verdoppelt und seine agentenbasierten Fähigkeiten erheblich verbessert, was es zu einer praktikablen Alternative für anspruchsvolle Implementierungsaufgaben macht.

Die Realität der Leistung

In unseren jüngsten Tests hat die Version 0731 komplexe Probleme beim Scannen von Dokumenten auf einen Schlag behoben – eine Leistung, die die Vorgängerversion selbst nach stundenlanger Verarbeitung nicht geschafft hatte. Auch wenn sie vielleicht noch nicht ganz an die reine Geschwindigkeit von Claude 3.5 Sonnet heranreicht, sind viele Gründer mittlerweile bereit, diesen Kompromiss zugunsten der vollständigen Datensouveränität einzugehen. Wir haben Geschwindigkeiten von 20 bis 30 Tokens pro Sekunde gemessen, die zwar mit zunehmender Füllung des Kontextfensters nachlassen, für Entwicklungsaufgaben im Hintergrund jedoch nach wie vor sehr gut nutzbar sind.

Warum dies für Gründer wichtig ist

  1. Datensouveränität: Ihr Code verbleibt auf Ihrer Hardware.
  2. Vorhersehbarkeit der Kosten: Keine weiter steigenden API-Rechnungen mehr, wenn Sie Ihre agentenbasierten Workflows ausbauen.
  3. Anpassung: Die Möglichkeit, Modelle speziell auf Ihren technischen Stack abzustimmen und zu optimieren.

Der Trend hin zu persönlicher Software ist nicht nur eine Modeerscheinung, sondern eine strategische Notwendigkeit für alle, denen Datenschutz ebenso wichtig ist wie Produktivität. Es ist an der Zeit, nicht mehr die Erlaubnis der Cloud einzuholen, sondern die Kontrolle über die eigenen Daten zu übernehmen.

Transkript▾

DeepSeek hat kürzlich die Version 0731 seiner äußerst beliebten Modelle „DeepSeek Flash“ und „Flash Pro“ veröffentlicht. Letzte Woche habe ich mich mit „Dwarf Star“ beschäftigt, einem Projekt, das diese umfangreichen Modelle quantisiert, damit sie auf Apple Silicon laufen. Die neue Version erhöht die Anzahl der Parameter auf 304 Milliarden, was fast einer Verdopplung gegenüber der bisherigen Größe entspricht.

Zwar unterstützt Dwarf Star 0731 noch nicht nativ, doch können Sie die Repo-Variablen manuell überschreiben, um Quantisierungen aus der Community herunterzuladen. Indem Sie das Download-Skript auf Community-Versionen auf Hugging Face verweisen, wie beispielsweise die von Redden bereitgestellten, können Sie die Q2-Version herunterladen, die etwa 86 GB groß ist.

In Tests zeigte das Modell 0731 deutliche Verbesserungen bei den agentenbasierten Fähigkeiten. Es konnte eine Anwendung zum Scannen von Dokumenten innerhalb von 57 Minuten erfolgreich reparieren – eine Aufgabe, die die Vorgängerversion nicht bewältigen konnte. Zwar ist Claude 3.5 Sonnet bei derselben Aufgabe nach wie vor schneller, doch das lokale DeepSeek-Modell gewährleistet absolute Datenschutzsicherheit. Die Token-Geschwindigkeit lag im Durchschnitt bei 20 bis 30 Token pro Sekunde, verlangsamte sich jedoch, als sich das 100.000-Token-Kontextfenster füllte. Dieses Modell eignet sich am besten für gezielte Fehlerbehebungen und weniger für umfangreiche Änderungen am Umfang, stellt jedoch einen bedeutenden Fortschritt für die persönliche Softwareentwicklung dar.