Über dieses Video
Docker ist ein Gefängnis für Ihre KI-Produktivität. Letzte Woche haben wir PewDiePies Odysseus mit Docker eingerichtet, aber heute befreien wir ihn aus der Sandbox, um ihm echte Kontrolle über Ihren Rechner zu geben. Die wichtigsten Erkenntnisse: - Warum Docker die agentischen Fähigkeiten von Odysseus einschränkt. - Hardware-Empfehlungen, einschließlich Mac Mini und Überlegungen zum Arbeitsspeicher. - So installieren Sie Odysseus lokal unter macOS, Linux oder Windows. - Einrichten lokaler Modelle wie Gemma 12B mit MLX für maximale Leistung. - Eine Live-Demo des KI-Agenten im Zusammenspiel mit lokalen Systemdateien. - So machen Sie die Schnittstelle über ein vertrauenswürdiges LAN oder VPN für Ihr Smartphone zugänglich.
Warum es ein strategischer Fehler für Ihre Datensicherheit ist, sich auf Cloud-KI zu verlassen
Die meisten Nutzer befinden sich derzeit in einem Teufelskreis der Abhängigkeit von Cloud-Anbietern wie OpenAI und Anthropic. Diese Dienste sind zwar praktisch, fungieren jedoch als „Black Box“ für Ihre sensiblen Daten. Wenn Sie echte Privatsphäre wünschen und möchten, dass eine KI tatsächlich mit Ihrem Computer interagieren kann, sollten Sie die Nutzung von Docker einstellen und stattdessen Odysseus lokal ausführen.
Die Grenzen der Sandbox
Docker eignet sich hervorragend zur Kapselung, wirkt jedoch wie ein Gefängnis für agentenbasierte Aufgaben. Wenn Sie Odysseus in einem Container ausführen, kann es die Dateien auf Ihrem Host-Rechner nicht ohne Weiteres „sehen“ oder mit ihnen interagieren. Dies widerspricht dem Zweck eines Agenten, der Ihre Downloads organisieren oder Ihre lokale Umgebung verwalten soll.
Systemvoraussetzungen
Sie brauchen keinen Supercomputer, um loszulegen. Wenn Sie auf bestehende API-Abonnements zurückgreifen, reichen ein Raspberry Pi oder ein alter Laptop aus. Wenn Sie jedoch den Goldstandard in Sachen Datenschutz anstreben, sind lokale Modelle die richtige Wahl. Ein Mac Mini mit reichlich Unified Memory ist der perfekte Begleiter für diese Aufgabe. Je mehr RAM Sie haben, desto größere Modelle können Sie ausführen.
Schritt-für-Schritt-Anleitung zur lokalen Installation
Bei diesem Vorgang wird das Repository über das Terminal geklont und die Setup-Skripte werden direkt ausgeführt. Dadurch läuft die Anwendung „direkt auf der Hardware“ und erhält die erforderlichen Berechtigungen, um komplexe Aufgaben auszuführen.
- Repository klonen: Verwenden Sie den Befehl „git clone“, um den aktuellen Odysseus-Code abzurufen.
- Navigieren und Initialisieren: Wechseln Sie in den entsprechenden Ordner und führen Sie das für Ihr Betriebssystem vorgesehene Startskript aus.
- Zugriff einrichten: Legen Sie Ihre Administrator-Anmeldedaten fest und stellen Sie sicher, dass Ihre LAN-Einstellungen konfiguriert sind, falls Sie von anderen Geräten aus darauf zugreifen möchten.
Die Auswahl Ihrer Modelle
Für Mac-Nutzer sind MLX-Modelle den GGUF-Varianten weit überlegen, da sie für Apple Silicon optimiert sind. Mit Tools wie OMLX oder LM Studio können Sie Modelle wie Gemma 12B herunterladen und über eine lokale API direkt mit Odysseus verknüpfen.
Die Kraft des agentischen Modus
Sobald Odysseus Zugriff auf Ihren Computer hat, können Sie ihn damit beauftragen, Aufgaben auszuführen, die ChatGPT einfach nicht bewältigen kann. Er kann Ihre Ordner durchsuchen, große Dateien identifizieren und auf der Grundlage Ihrer tatsächlichen Daten Empfehlungen aussprechen. Das ist die Zukunft der Personal Computer: ein privater, lokaler Agent, der Ihre spezifische Umgebung versteht, ohne jemals auch nur ein Byte an Daten an einen Remote-Server zu senden.
Hör auf, im Sandkasten zu spielen, und fang noch heute damit an, ein echtes lokales Kraftpaket aufzubauen.
Transkript▾
Letzte Woche habe ich ein Video zu PewDiePies „Odysseus“ gedreht und euch dabei ein bisschen im Ungewissen gelassen, da wir das Programm auf Docker eingerichtet hatten, was zahlreiche Einschränkungen bei der Ausführung von agentenbasierten Aufgaben auf eurem Rechner mit sich brachte. Genau dafür ist Docker da: zur Kapselung. Es schützt die Dinge. Um den wahren Nutzen von Odysseus auszuschöpfen, wenn ihr es über seine sehr leistungsfähigen Chat-Funktionen hinaus nutzt, solltet ihr es auf eurem lokalen Rechner ausführen – und genau das werden wir heute tun.
Ich würde auf jeden Fall empfehlen, dies auf einem separaten Computer zu tun. Ein Mac Mini ist dafür traditionell die erste Wahl, insbesondere wenn Sie lokale Modelle verwenden. Auf einem Mac Mini lassen sich recht gute lokale Modelle ausführen. Wie ich jedoch bereits in vielen Videos erklärt habe, gilt bei all diesen Dingen: Je mehr RAM Sie haben, desto besser. Wenn ihr jedoch keine lokalen Modelle ausführt und euer ChatGPT-Abonnement nutzt, könnt ihr das buchstäblich auf einem sehr alten PC laufen lassen, den ihr noch im Schrank habt, oder auf einem Raspberry Pi. Odysseus benötigt keine besonders leistungsstarke Hardware. Das ändert nichts am Installationsprozess, den wir heute durchgehen werden, und ich werde viele der Überlegungen zu lokalen Modellen erläutern, die ihr vielleicht habt.
Nachdem das nun gesagt ist: Wenn ihr Odysseus auf eurem lokalen Rechner einrichten wollt, dann ist dies genau die richtige Anleitung für euch. Also, Odysseus. Gehen wir zum Abschnitt „Erste Schritte“, denn auf GitHub ist das viel einfacher. Wenn wir nach unten zum Abschnitt „Erste Schritte“ scrollen, sehen wir hier die Anleitung, die wir letztes Mal durchlaufen haben, nämlich die Installation von Docker. Ignorieren Sie diese einfach. Je nachdem, ob Sie Apple Silicon, Linux oder Windows verwenden, sind dies die Anweisungen, die Sie befolgen müssen.
Also, wenn wir diese erste Zeile hier kopieren – mir ist bewusst, dass viele im Publikum wahrscheinlich nicht die geringste Ahnung von all diesen technischen Dingen haben. Leider liegt das in der Natur der Sache. Man begibt sich hier in eine sehr technische Welt. Ich werde mein Bestes tun, um die Dinge zu erklären. Kurz gesagt: Wir werden hier das Terminal öffnen. Mein Lieblings-Terminal ist „Warp“. Ich werde weiter unten Links dazu einfügen. Damit könnt ihr Befehle auf eurem Rechner ausführen. So gut wie jede Anwendung führt im Hintergrund solche Befehle aus. Es ist also wirklich das Nötigste, sozusagen ganz nah an der Hardware.
Macs haben einfach ein Terminal. Wenn du deine Terminal-App öffnest, sind das die Befehle, die du ausführen musst. Wir müssen also nur „CD“ eingeben – das steht für „Change Directory“ (Verzeichnis wechseln) – und ich würde empfehlen, einen Ordner aus dem Finder hierher zu ziehen. Ich nehme hier meinen Ordner „Sites One“ – ich ziehe ihn einfach dorthin, und dadurch befindest du dich dann in diesem Ordner. Dann füge ich das hier ein, wodurch der von PewDiePie geschriebene Code geklont bzw. heruntergeladen wird. Und jetzt können wir mit „CD“ in den so erstellten Ordner wechseln.
Das steht sogar in der Anleitung. Jetzt starten wir macOS, wodurch es unter dieser URL gestartet werden sollte. Um es auf deinem Smartphone über ein vertrauenswürdiges LAN oder VPN wie Tailscale zugänglich zu machen, würde ich das wahrscheinlich empfehlen. Wir müssen das ausführen. Also werden wir genau das hier ausführen, und das bedeutet, dass du es auf deinem Smartphone nutzen kannst. Du kannst es auf vielen anderen Computern nutzen oder es einfach auf deinem lokalen Rechner behalten.
Während das läuft, schauen wir uns doch mal die Anleitung hier an. Hier steht, dass man einen anklickbaren App-Wrapper erstellen kann, was bedeutet, dass wir das nicht jedes Mal im Terminal ausführen müssen, sondern dass eine kleine Anwendung erstellt wird. Da wir gerade in Nerd-Stimmung sind, bleiben wir aber im Terminal.
Wir werden nach unserem Benutzernamen gefragt. Wir belassen ihn als „admin“ und legen ein Passwort fest. Jetzt läuft alles. Admin. Passwort. Und schon sind wir drin.
Ein kurzer Überblick. Das hier wird keine ausführliche Betrachtung von Odysseus sein, aber wir können den Chat-Modus ausprobieren, der genau so funktioniert, wie man es erwartet. Im Agent-Modus werden tatsächlich Aktionen auf Ihrem Rechner ausgeführt, und das ist meiner Meinung nach eine der leistungsstärksten Funktionen, die das Programm bietet. Sie können Ihre E-Mail-Adresse hinzufügen, Tools, einen Kalender und ähnliches.
Richten wir ein paar Modelle ein. Sie können OpenAI, Anthropic oder DeepSeek verwenden. Einer der größten Reize von Odysseus sind die lokalen Modelle. Ich habe Ollama installiert, arbeite aber auf einem Mac. Sie sollten sich daher mit Lösungen wie LM Studio oder OMLX beschäftigen, mit denen Sie MLX-Modelle herunterladen können. Ich habe bereits das Gemma-Modell mit 12 Milliarden Parametern heruntergeladen.
Wenn wir in den Agent-Modus wechseln, kann ich nun sagen: „Schau in meinen Download-Ordner und liste die größten Dateien auf.“ Wie ihr seht, werden gerade einige Tools ausgeführt. Das Programm macht seine Arbeit. Wenn wir zum Aktivitätsmonitor wechseln, seht ihr, dass meine GPU voll ausgelastet ist. Wir nutzen hier fast 74 Gigabyte RAM. Für alle, die es interessiert: Wenn ihr einen Laptop mit 96 Gigabyte RAM habt, könnt ihr dieses Gemma-Modell ziemlich gut ausreizen.
Ich hoffe, das verschafft euch einen besseren Einblick in Odysseus und zeigt euch, was ihr aus agentischer Sicht damit machen könnt. Das System läuft, es hat Zugriff auf unseren Rechner und wir können mit einem lokalen Modell chatten. Das Ganze ist absolut privat. Schreibt mir unten in die Kommentare, wenn ihr mehr darüber erfahren möchtet. Bis zum nächsten Mal – bleibt am Ball!