Warum wir das Experiment gewagt haben

Große Sprachmodelle (Large Language Models, LLMs) lokal auszuführen ist spätestens seit DeepSeek der Traum vieler Entwickler‑Teams – auch von uns. Der Flaschenhals ist dabei schnell angebundener Arbeitsspeicher. Selbst Apples neuer Mac mini M4 Pro kommt zwar auf rund 50 GB/s Speicherbandbreite, ist aber bei 64 GB RAM gedeckelt – zu wenig für Modelle jenseits der 30 B‑Parameter‑Klasse.

Unsere Idee: Drei Mac minis mit je 16-24 GB Unified Memory per Thunderbolt 4 zu einem gemeinsamen Arbeitstier verschmelzen. Möglich macht’s Exo, ein noch experimentelles Open‑Source‑Projekt, das RAM und Rechenpower mehrerer Geräte zu einem dynamischen „Super‑Node“ zusammenfädelt.

Große Sprachmodelle (Large Language Models, LLMs) lokal auszuführen ist spätestens seit DeepSeek der Traum vieler Entwickler‑Teams – auch von uns. Der Flaschenhals ist dabei schnell angebundener Arbeitsspeicher. Selbst Apples neuer Mac mini M4 Pro kommt zwar auf rund 50 GB/s Speicherbandbreite, ist aber bei 64 GB RAM gedeckelt – zu wenig für Modelle jenseits der 30 B‑Parameter‑Klasse.

Unsere Idee: Drei Mac minis mit je 16-24 GB Unified Memory per Thunderbolt 4 zu einem gemeinsamen Arbeitstier verschmelzen. Möglich macht’s Exo, ein noch experimentelles Open‑Source‑Projekt, das RAM und Rechenpower mehrerer Geräte zu einem dynamischen „Super‑Node“ zusammenfädelt.