Über dieses Video
Lokale KI ist längst kein Spielzeug für Hobbyisten mehr, sondern eine direkte Bedrohung für die Chip-Giganten. In diesem Video werfen wir einen detaillierten Blick auf das brandneue Qwen 3.8, ein 27 Milliarden Parameter umfassendes Modell von Alibaba, das die Rangliste der lokalen LLMs auf den Kopf stellt. Wir unterziehen es einem Praxistest im Bereich der Programmierung, um zu prüfen, ob es Ihre Cloud-basierten Abonnements tatsächlich ersetzen kann. Die wichtigsten Erkenntnisse: - Qwen 3.8 im Überblick: Wir erkunden die dichte Architektur mit 27 Milliarden Parametern und ihr Kontextfenster von 262.000 Zeichen. - Mem-Zero-Integration: So statten Sie Ihre lokale KI mit einem permanenten Speicher für konsistente Programmier-Sitzungen aus. - Leistungsvergleich: Sehen Sie, wie sich Qwen 3.8 im Vergleich zu Googles Gemma und DeepSeek schlägt. - Programmieren in der Praxis: Sehen Sie zu, wie das Modell versucht, eine vollständige OCR-PDF-Scan-Anwendung von Grund auf neu zu erstellen. - Hardware-Leitfaden: Was Sie tatsächlich benötigen, um dieses Modell reibungslos auszuführen – vom MacBook Air bis hin zu M5-Max-Kraftpaketen.
Alibaba hat gerade ein Modell vorgestellt, das Ihr Cloud-Abonnement wie reine Geldverschwendung erscheinen lässt
Die Platzhirsche des Silicon Valley verlieren ihren Anspruch auf die Vorherrschaft im Bereich der künstlichen Intelligenz. Mit der Veröffentlichung von Qwen 3.8, einem Modell mit 27 Milliarden Parametern, hat Alibaba bewiesen, dass hochentwickelte Intelligenz weder ein monatliches Abonnement noch eine riesige Serverfarm erfordert. Wenn Sie auf den Moment gewartet haben, in dem lokale KI zu einem ernstzunehmenden Ersatz für die Branchenführer wird, könnte dies nun der Fall sein.
Das Kraftpaket 27B
Qwen 3.8 ist ein „dichtes“ Modell, was es von den „Mixture of Experts“ (MoE)-Architekturen unterscheidet, die wir oft in programmierspezifischen Tools sehen. Dichte Modelle sind auf reine Intelligenz und tiefgehende Forschung ausgelegt. Diese Version verfügt über eine Standard-Kontextlänge von 262.144 Tokens, die auf unglaubliche eine Million erweitert werden kann. Bei meinen Tests auf einem M5 Max bewältigte es komplexe Aufgaben mit einer überraschenden Feinheit, verlangt dabei jedoch durchaus einiges von Ihrer Hardware.
Das Gedächtnis ist das fehlende Glied (SPONSORED)
Eine der größten Hürden bei lokaler KI ist die fehlende Persistenz. Jedes Mal, wenn Sie eine neue Sitzung starten, vergisst Ihr Agent, wer Sie sind und wie Sie gerne arbeiten. Hier kommt Mem Zero ins Spiel. Durch die Bereitstellung einer persistenten Speicherschicht ermöglicht es Ihren lokalen Modellen, sich bestimmte Präferenzen zu merken, wie beispielsweise Programmierkonventionen oder frühere Korrekturen. Es ist die Brücke zwischen einem einmaligen Chat und einem echten digitalen Assistenten.
https://samuelgregory.co.uk/mem0
Programmieren auf die Probe stellen
Ich habe Qwen 3.8 damit beauftragt, eine lokale OCR-Anwendung zum Scannen von PDF-Dokumenten zu entwickeln. Die Ergebnisse fielen gemischt aus. Das Modell war zwar unglaublich schnell (es erreichte 21 Token pro Sekunde) und erstellte eine überraschend ausgefeilte Benutzeroberfläche, hatte jedoch Schwierigkeiten mit den spezifischen Komplexitäten der multimodalen OCR-Logik. Es benötigte über zwei Stunden, um eine Spezifikation zu verfeinern, die ein größeres, cloudbasiertes Modell möglicherweise eleganter bewältigt hätte.
Die Schlussfolgerung ist klar: Dichte Modelle eignen sich hervorragend für die Forschung und allgemeine Intelligenz, aber sie sind möglicherweise noch nicht die „Coding-Killer“, als die sich spezialisierte MoE-Modelle darstellen.
Systemvoraussetzungen
Man braucht zwar keinen Supercomputer, um das Programm auszuführen, aber eine einfache Konfiguration reicht nicht aus. Ich habe es zwar auf einem M5 Max mit 120 GB RAM getestet, doch die 4-Bit-quantisierte Version sollte problemlos auf einem MacBook Air mit 32 GB laufen. Wenn man es mit lokaler KI ernst meint, ist es nicht mehr nur empfehlenswert, sondern zwingend erforderlich, dem Arbeitsspeicher Priorität einzuräumen.
Endgültiges Urteil
Qwen 3.8 ist eine echte Bereicherung für die lokale KI-Landschaft. Es ist intelligent, schnell und lokal. Wenn Ihre Arbeit mit umfangreicher Recherche und kontextbezogener Analyse verbunden ist, gehört es in Ihr Werkzeugset. Für agentenbasierte Programmier-Workflows könnten Sie jedoch anderswo mehr Erfolg haben. Lokal zu bleiben war noch nie so attraktiv.
Transkript▾
Qwen gehört neben Systemen wie Googles Gemini, DeepSeek, Kimiko und GLM zu den führenden Anbietern für den lokalen Einsatz von KI. Das Unternehmen hat gerade sein neuestes Modell 3.8 veröffentlicht, ein dichtes Modell mit 27 Milliarden Parametern. In diesem Video werden wir es auf Herz und Nieren prüfen und zeigen, wie es ist, mit diesem neuesten und besten Modell von Alibaba echte Arbeit zu erledigen.
Zuvor möchte ich noch auf eine Frage eingehen, die mir ständig gestellt wird: Wie lässt sich der Speicherinhalt zwischen den Programmier-Sitzungen beibehalten? Hier kommt unser heutiger Sponsor, Mem Zero, ins Spiel. Es handelt sich um ein Plugin für Claude Code oder Codex, das dabei hilft, die Konsistenz in Ihrem gesamten Arbeitsablauf zu gewährleisten. Wenn ich beispielsweise bestimmte Begriffe in meinen Podcast-Untertiteln korrigieren muss, speichert Mem Zero diese Korrekturen für zukünftige Sitzungen.
Ein Blick auf die Modellbeschreibung zeigt, dass es zwar über Programmierfähigkeiten verfügt, es sich jedoch um ein komplexes Modell handelt. Solche Modelle eignen sich in der Regel eher für Forschung und Informationsgewinnung als für das reine Programmieren, das ein spezifisches Fachgebiet darstellt. Was mir besonders gefällt, ist, dass es sich um ein Bildverarbeitungsmodell handelt. Es verfügt standardmäßig über eine Kontextlänge von 262.144, die auf eine Million Token erweitert werden kann.
In den Benchmarks schneidet es im Vergleich zu Gemma sehr gut ab. Ich verwende die Version mit 4-Bit-Quantisierung, die in etwa 16 GB VRAM passt. Für ein angemessenes Kontextfenster benötigt man dennoch mindestens 24 GB. Auf meinem M5 Max mit 120 GB RAM werden wir versuchen, eine OCR-App zu entwickeln.
Die Umsetzung der ersten Aufgabe dauerte 24 Minuten. Dabei kamen ein Python-Backend und ein HTML-Frontend zum Einsatz. Die Benutzeroberfläche wirkte anfangs etwas unübersichtlich, wurde aber nach einigen Rückmeldungen deutlich verfeinert. Die OCR-Funktionalität war zunächst etwas chaotisch, doch dank weiterer Anweisungen und einer besseren Spezifikation gelang es uns, ein funktionierendes Ergebnis zu erzielen.
Insgesamt stellt Qwen 3 eine echte Verbesserung in Sachen Intelligenz dar. Auch wenn ich es aufgrund seiner Komplexität vielleicht nicht für jede Programmieraufgabe nutzen würde, ist es doch ein hervorragendes Werkzeug für Forschungszwecke – insbesondere, wenn man es auf einem Gerät wie einem MacBook Air mit 32 GB Arbeitsspeicher ausführt.