AI · GTM Glossary
KV Cache (KV Cache)
KV-Cache
The memory where the model stores what it has already read. For each token, the model calculates key-value pairs for Attention and caches them so it doesn't have to recompute everything for the next token. Makes AI responses faster and cheaper.
Auf Deutsch
Der Speicher, in dem das Modell speichert, was es bereits gelesen hat. Für jeden Token berechnet das Modell Schlüssel-Wert-Paare für die Aufmerksamkeit und speichert diese zwischen, um nicht alles für den nächsten Token neu berechnen zu müssen. Macht KI-Antworten schneller und günstiger.
Ready to break into startup GTM?
Apply once, for free, and get matched with startups hiring junior sales, generalist, commercial and techy talent in Berlin, Munich and across Germany.
Apply free