DeepSeek V4 lokal 2026? antirez' ds4-Open-Source und Runbook für High-Memory-Mac-Cloud-Miete

Lokale LLM-Landschaft ist voll: llama.cpp, Ollama, vLLM und Dutzende Forks konkurrieren um den Titel „universeller Loader“. ds4 geht bewusst in die entgegengesetzte Richtung – eine einzige Modellfamilie, ein optimierter Stack. In reinem C entstehen ein eigener Graph-Executor, spezialisiertes Gewichteladen, Prompt-Rendering, Tool Calling, RAM- und Disk-KV-Zustand sowie ds4-server als API-Schicht. Zielbild: auf einer gut ausgestatteten Workstation oder einem Mac Studio eine lokale Erfahrung, die ernsthafte Coding-Sessions mit Cloud-Modellen wie Claude oder GPT vergleichbar macht – ohne dass der Traffic das Haus verlässt.

Das README im offiziellen Repository ist unmissverständlich: ds4 ist kein generischer GGUF-Runner und kein Wrapper um fremde Frameworks. Auf macOS ist Metal der produktive Pfad; CUDA bedient Linux und DGX Spark; die CPU-Graph-Route dient der Korrektheitsdiagnose. Auf aktuellen macOS-Versionen kann CPU-Inferenz Kernel-Probleme im virtuellen Speicher auslösen – Produktion gehört auf Metal oder CUDA, nicht auf den CPU-Fallback.

Für Engineering-Leads ändert das die Anschaffungsfrage. Nicht „lädt unser GGUF?“, sondern „haben wir genug Unified Memory auf einem Mac und akzeptieren wir, dass Gewichte, KV und Tool-Calling-Semantik an ds4 und die offiziellen DeepSeek-V4-Flash-Vektoren gebunden bleiben?“ Wer ja sagt, bekommt eine end-to-end auditierbare private Inferenzebene. Wer nein sagt, bleibt bei generischen Loadern – schneller zum Experiment, schwächer bei MoE-Spezifika.

Community-Benchmarks und Dokumentation stimmen überein: der Engpass ist Speicher, nicht fehlende Engine. Die folgende Matrix fasst offizielle Hinweise, Mac-Messungen und gängige Quantisierungsstufen zusammen – Details hängen vom gewählten GGUF- bzw. imatrix-Paket ab:

• CapEx in einem Schlag: Einzelpersonen und Teams unter zehn Köpfen rechtfertigen selten einen 96-GB-Laptop allein für „lokales MoE ausprobieren“.
• Fehlkauf-Risiko: 64 GB wirken groß, reichen für Flash q2 aber nicht; 96 GB reichen für q4 oder PRO oft nicht – ein Gerätetausch folgt.
• Setup-Zeit: Selbst mit passender Hardware bleiben Kompilieren, Hunderte Gigabyte Gewichte, KV-Verzeichnisse und API-Ports – für Cursor-Nutzerinnen oft mehrere Tage bis zum ersten stabilen Loopback.
• Lastprofil: Inferenz clustert abends und in Release-Fenstern; tagsüber steht Hardware leer. Selbst gekaufte Macs schlagen sich bei Auslastung schwer gegen stundenweise Miete.

Die eigentliche Frage 2026 lautet deshalb: wie bekomme ich unter kontrollierten Kosten eine produktionsfähige Metal- plus Großspeicher-Umgebung – nicht, ob ds4 „cooler“ ist als llama.cpp.

Aus dem offiziellen Repository und frühen Mac- sowie CUDA-Messungen ergeben sich die Gründe für die Aufmerksamkeit:

• Metal zuerst: Tiefe Anpassung an Apple-GPU; Community meldet auf M5 Max Prefill um 463 t/s und Generierung um 34 t/s (quantisiert, kontextabhängig).
• Millionen-Token-Kontext: Fenster im Bereich einer Million Token; zusammen mit DeepSeek-V4-KV-Kompression werden große Repos und Langdokumente praktikabel.
• Disk-KV: KV-State kann auf NVMe persistieren und Sessions überdauern – weniger wiederholtes Prefill bei langen Coding-Sitzungen.
• 2-bit-Routing-Experten: MoE-Router aggressiv quantisiert, übrige Schichten schärfer – Flash wird auf 128-GB-Klasse erträglicher.
• Agent-API: Tool Calling, OpenAI-/Anthropic-Kompatibilität, ds4-server als privater Endpunkt für Cursor und OpenCode.

Metal als Primärziel ist keine Marketingfloskel, sondern Architektur-Fit:

• Unified Memory: CPU und GPU teilen physischen RAM; 80-GB-Gewichte ohne PCIe-Kopierstaus – ein Muster, das x86 plus diskrete GPU selten repliziert.
• Speicherbandbreite: M-Serie in High-Bandwidth-SKU liefert im Consumer-Segment starke Inferenz-Durchsatzwerte für Prefill und lange Kontexte.
• NVMe und Disk-KV: ds4 nutzt schnelle lokale SSD für session-persistente KV; macOS-Stack und integrierte Laufwerke passen dazu.

Kurz: großer Mac = derzeit die beste Consumer-Form für frontier Open-Source-MoE. Linux und CUDA funktionieren (DGX Spark etc.), aber iOS- und Full-Stack-Teams mit Xcode, Cursor und macOS-Toolchains profitieren oft mehr von einem High-Memory-Mac in der Cloud oder am Schreibtisch als von einem zweiten Linux-Inferenz-Host.

• Modell: DeepSeek V4 Flash etwa 284B MoE / 13B aktiv (öffentliche Angaben); ds4 fokussiert Flash, PRO braucht höhere Speicherstufen.
• GitHub: ds4 überschritt kurz nach Release 10.000+ Stars – prüfen Sie die Live-Zahl im Repo.
• Bandbreite: Mac Studio Ultra-Klasse erreicht Unified-Memory-Bandbreiten im Hunderter-GB/s-Bereich – direkt relevant für „alles in UMA“.
• Miete vs. Kauf: 96-GB-Max-Laptop einmalig vierstellig; bei 40–80 Stunden konzentrierter Nutzung pro Monat schlägt stundenweise 128-GB-Cloud-Mac im Cashflow oft um eine Größenordnung günstiger zu Buche – siehe Preisseite.
• Datenschutz: Lokale oder dedizierte Inferenz hält Prompts und Code aus Dritt-APIs; für Finanz, Gesundheit und Behördennetze ist das der strukturelle Unterschied zu „nur Cloud-API“.

Das Runbook setzt einen NUKCLOUD-High-Memory-Mac mit 96 GB+ voraus – Mandantengrenzen und SSH-Baseline lassen sich mit dem GitHub-Agent-Runbook teilen:

1. 01
   Speicher nach Modell wählen: Flash q2 mindestens 96 GB; höhere Präzision oder PRO → 256 GB / 512 GB planen. Auf der Bestellseite die passende SKU wählen – „SSH ja, Gewichte nein“ vermeiden.
2. 02
   Baseline einfrieren: macOS-Minor, Xcode Command Line Tools, Metal-Treiberstand dokumentieren; Disk-Quota für Gewichte plus KV (häufig Hunderte GB frei) festlegen.
3. 03
   ds4 bauen: github.com/antirez/ds4 klonen, make für ./ds4 und ./ds4-server; Produktion nur Metal, kein CPU-Graph für Dauerlast auf macOS.
4. 04
   Gewichte und KV: README-konforme Flash-Pakete laden; Beispielstart: ./ds4-server --ctx 100000 --kv-disk-dir /var/ds4-kv --kv-disk-space-mb 8192 (Pfade an Instanz anpassen).
5. 05
   Coding-Tools anbinden: Cursor/OpenCode Base-URL auf Instanz-Loopback oder SSH-Tunnel (z. B. http://127.0.0.1:8000); sensible Repos nur über VPN/Private Link, kein öffentlicher Inferenz-Port.
6. 06
   Kosten und Compliance: CapEx/OpEx „Mac Studio vor Ort“ vs. stundenweise Cloud-Mac; gemeinsame Nutzung mit Swift-6-CI-Knoten prüfen.

git clone https://github.com/antirez/ds4.git
cd ds4 && make
./ds4-server --ctx 100000 \
  --kv-disk-dir /var/ds4-kv \
  --kv-disk-space-mb 8192

Wer lokale Privatsphäre will, aber keinen Sechsteller-Mac vorfinanzieren möchte, landet oft bei Cloud-Macs mit viel RAM: ds4 plus Metal, Provisionierung wie aus der Konsole gewohnt.