Glossar · KI
Semantic Cache (semantischer Cache)
Ein Cache, der Modellantworten nicht über exakt gleiche Anfragen findet, sondern über sinngleiche, gemessen an der Ähnlichkeit von Embeddings.
Definition
Ein klassischer Cache trifft nur, wenn die Anfrage Zeichen für Zeichen identisch ist. Ein Semantic Cache vergleicht stattdessen die Bedeutung: Er wandelt die Anfrage in ein Embedding um und sucht im Speicher nach einer früheren Anfrage, deren Vektor nah genug liegt. "Was kostet Versand nach Österreich" und "Lieferkosten AT" landen so auf derselben gespeicherten Antwort, obwohl kein Wort exakt übereinstimmt.
In Automations spart das spürbar Tokens, Geld und Wartezeit, überall dort, wo ähnliche Fragen oft wiederkehren, etwa in einem Support-Assistenten oder einer FAQ. Der Preis ist ein Schwellenwert, den du sauber einstellen musst: Ist die Ähnlichkeitsgrenze zu locker, bekommt der Nutzer eine Antwort auf eine nur scheinbar gleiche Frage. Deshalb gehört zu einem Semantic Cache immer eine bewusst gewählte Schwelle und eine Strategie, wann Einträge veralten und neu berechnet werden.
So nutzen wir das bei adsbird
Im FAQ-Assistenten einer adsbird-Kundenseite fängt ein Semantic Cache sinngleiche Fragen ab, sodass wiederkehrende Anliegen ohne neuen Modell-Call und damit ohne Tokenkosten beantwortet werden.
Verwandte Begriffe
Semantic Cache (semantischer Cache) in deinem Projekt?
Wir bauen damit,
jeden Tag.
Wenn du Semantic Cache in einem konkreten Workflow brauchst, wir haben das wahrscheinlich schon gebaut.