VRAM ist der Grafikspeicher einer GPU. Für lokale KI zählt der verfügbare Speicher unter Last – nicht nur die Größe der Modelldatei oder die Zahl auf dem Datenblatt.
Redaktion: smao Team · Stand: 16. September 2026
Kurz erklärt
VRAM bezeichnet im üblichen Hardware-Sprachgebrauch den Grafikspeicher einer GPU. Bei lokaler KI kann er Modellgewichte, Zwischenwerte und weitere Daten für die Berechnung aufnehmen. Seine Kapazität wird beispielsweise in Gigabyte angegeben. Wie viel davon eine Anwendung tatsächlich nutzen kann, hängt auch von anderen Belegungen und der Laufzeit ab. Aus der Kapazität allein folgen weder Antwortgeschwindigkeit noch eine bestimmte Anzahl gleichzeitiger Nutzer.
Wie unterscheiden sich VRAM, RAM und Speicherplatz?
Auf der SSD liegen beispielsweise Modelldateien und Dokumente. Der Arbeitsspeicher des Rechners dient der laufenden Verarbeitung auf der CPU. Eine separate GPU hat ihren eigenen Gerätespeicher. Der CUDA Programming Guide von NVIDIA erläutert das Zusammenspiel von Host und Gerät sowie gemeinsame Speicheradressierung. Architektur und Zugriffsweg sollten deshalb ausdrücklich genannt werden.
Zähle die angegebenen Kapazitäten nicht pauschal zu einem frei nutzbaren Modellbudget zusammen. Wenn eine Laufzeit Daten zwischen CPU und GPU verlagert, ist das ein bestimmter Betriebsmodus mit eigenen Voraussetzungen. Mehr RAM auf dem Rechner ist keine Zusage, dass dieselbe Last genauso wie vollständig im GPU-Speicher läuft.
Was belegt den Speicher außer den Gewichten?
Zu den Gewichten kommen je nach Modell und Laufzeit Zwischenwerte, Kontext-Cache und weitere Reservierungen. Bei vLLM 0.10.2 beeinflussen unter anderem die begrenzte Kontextlänge, die Batchgröße und CUDA-Graphen den Speicherbedarf. Diese Dokumentation erklärt Mechanismen; sie liefert keine smao Hardware-Mindestanforderung.
Auch Messanzeigen unterscheiden sich: PyTorch 2.8 trennt von Tensoren belegten Speicher und vom Speicherverwalter reservierten Speicher. Ein reservierter Bereich kann bereits freie Blöcke zur Wiederverwendung enthalten. Vergleiche deshalb nur Werte, deren Bedeutung du kennst.
Welche Angaben helfen vor einer Hardwareentscheidung?
Lass dir keine Eignung allein mit einer VRAM-Zahl bestätigen. Sammle die genaue Hardware, das Modellartefakt und ein realistisches Lastprofil. Erfasse getrennt den Start, eine typische Anfrage und die vereinbarte gleichzeitige Nutzung. Zu einem brauchbaren Ergebnis gehören auch Fehler und Warteschlangen, nicht nur ein erfolgreicher Einzelversuch.
Bei einer Telefonanwendung sollte die Prüfung alle gleichzeitig vorgesehenen Komponenten berücksichtigen. Spracherkennung, Antworterzeugung und Sprachausgabe sind eigene Aufgaben; zusätzlich kann ein Embedding-Modell für die Wissenssuche laufen. Der Leitfaden zur Hardwaredimensionierung führt diese Angaben zu einem Arbeitsblatt zusammen.
- Exakte GPU und tatsächlich verfügbare Kapazität festhalten.
- Modellrevision, Präzision, Kontextgrenze und Runtime-Version dokumentieren.
- Andere GPU-Dienste und gleichzeitig aktive Anfragen einbeziehen.
- Belegten und reservierten Speicher sowie Messzeitpunkt unterscheiden.
- Antwortzeit, Fehler und fachliche Qualität zusätzlich prüfen.
Praxisbeispiel
Illustrative Budgetrechnung: Eine Umgebung weist 24 GB nutzbaren GPU-Speicher aus. Für bereits laufende Prozesse werden 4 GB und für die Modellgewichte weitere 12 GB angesetzt. Rechnerisch bleiben 8 GB. Diese Zahlen sind frei gewählte Annahmen; der Rest ist kein Nachweis, dass Kontext, Laufzeit und gewünschte Last hineinpassen. Dafür fehlen noch deren tatsächliche Speicherwerte.
Notiere vor einem Vergleich, ob die Anzeige GB oder GiB verwendet und ob die genannten Bereiche getrennt erfasst wurden. Beobachte anschließend eine kurze und eine längere Anfrage unter derselben Konfiguration. Steigt die Belegung, dokumentiere den Verlauf statt nur den Endstand. Das Beispiel enthält keine Messung, Kaufempfehlung oder Zusage für parallele Telefonate.
Abgrenzung
- VRAM-Kapazität beschreibt Speicherplatz; Speicherbandbreite beschreibt eine Übertragungsrate.
- Die Größe einer Modelldatei ist nicht gleich dem Speicherbedarf der laufenden Anwendung.
- Quantisierung kann bestimmte Speicheranteile verkleinern. Sie ersetzt weder die Lastprüfung noch die fachliche Abnahme.
Quellen
- NVIDIA CUDA Programming Guide: Programming Model (abgerufen am 16. September 2026)
- vLLM 0.10.2: Conserving Memory (abgerufen am 16. September 2026)
- PyTorch 2.8: CUDA Memory Management (abgerufen am 16. September 2026)
Kostenlos testenLive in 15 MinHosting in Deutschland