Knowledge Base oder System Prompt? Der Entscheidungsguide

Knowledge Base oder System Prompt: Wo gehört welche Information hin?

Die kurze Antwort: Der System Prompt steuert das Verhalten deines AI Voice Agents, die Knowledge Base liefert Wissen, ein Mid-Call-Tool holt Live-Daten aus deinen Systemen, und der Flow-Builder erzwingt einen festen Ablauf. Diese vier Ebenen sind nicht austauschbar. Wer sie vermischt, baut einen Agenten, der langsamer antwortet, unnötig teuer ist und bei jeder Preisänderung komplett neu getestet werden muss.

In der Praxis sehen wir bei Famulor immer wieder dasselbe Muster: Ein Betrieb startet mit einem sauberen, kurzen System Prompt. Nach drei Monaten stehen dort 40 FAQ-Antworten, die komplette Preisliste, die Öffnungszeiten aller drei Standorte und eine Liste von 60 Produktvarianten. Der Agent funktioniert noch, aber er reagiert träger, hält sich weniger zuverlässig an die Gesprächsführung, und niemand traut sich mehr, etwas zu ändern.

Dieser Artikel gibt dir eine Entscheidungsmatrix: Welche Information gehört auf welche Ebene, warum, und was es dich kostet, wenn du dich vertust. Wenn du gerade erst einsteigst, lohnt sich vorher ein Blick auf den No-Code AI Voice Agent und die Kernkonzepte in der Dokumentation.

Die vier Kontext-Ebenen eines AI Voice Agents

Jeder produktive Voice Agent zieht seine Antworten aus vier klar unterscheidbaren Quellen. Der entscheidende Unterschied liegt darin, wann die jeweilige Information geladen wird.

• System Prompt: Wird bei jedem Anruf vollständig geladen und über das gesamte Gespräch ausgewertet. Immer aktiv, immer deterministisch, immer kostenpflichtig in Tokens.
• Knowledge Base: Wird nur abgerufen, wenn der Gesprächskontext eine Suche auslöst. Skaliert auf große Textmengen, ohne den Prompt aufzublähen.
• Mid-Call-Tool: Ruft während des Gesprächs eine API auf und bekommt exakte, aktuelle Werte zurück. Die einzige Ebene, die rechnen, sortieren und zurückschreiben kann.
• Flow-Builder: Legt den Gesprächspfad fest, statt ihn dem Modell zu überlassen. Für Abläufe, bei denen die Reihenfolge nicht verhandelbar ist.

Merksatz: Der Prompt ist das Gehirn deines Agents, nicht sein Nachschlagewerk. Alles, was das Verhalten formt, gehört hinein. Alles, was nur nachgeschlagen wird, gehört heraus.

Wann der System Prompt die richtige Wahl ist

Der System Prompt ist die deterministische Grundlage. Er ist bei jedem Anruf da, unabhängig davon, was der Anrufer sagt. Genau deshalb gehören dort nur Dinge hinein, die immer gelten sollen.

In den System Prompt gehören:

• Rolle und Tonalität: Wer ist der Agent, für welches Unternehmen spricht er, wie klingt er? Ein Empfangsagent einer Steuerkanzlei klingt anders als ein Outbound-Agent für Solaranlagen.
• Gesprächslogik und Reihenfolge: Begrüßung, Reihenfolge der Rückfragen, wann ins Gespräch eingestiegen und wann abgeschlossen wird.
• Guardrails: Was der Agent niemals tun darf. Keine Rechtsberatung, keine verbindliche Preiszusage, keine Diagnose am Telefon.
• Eskalationsregeln: Wann wird an einen Menschen übergeben, wann wird ein Rückruf angeboten.
• Kurze, stabile Standardantworten: Drei bis fünf Einwände, die täglich kommen und immer gleich beantwortet werden sollen.
• Trigger für strukturierte Logik: Wann welches Mid-Call-Tool aufgerufen wird und mit welchen Parametern.

Konkret: Eine Zahnarztpraxis mit sechs Behandlungsräumen schreibt in den Prompt, dass der Agent bei Schmerzpatienten immer zuerst nach der Dringlichkeit fragt und akute Fälle sofort an die Rezeption durchstellt. Das ist Verhalten. Welche Termine am Donnerstag frei sind, steht dagegen nicht im Prompt, sondern kommt aus dem Kalender. Wie du einen Prompt sauber strukturierst, zeigt der System-Prompt-Guide.

Wann eine Knowledge Base gewinnt

Eine Knowledge Base speichert lange, unstrukturierte Texte und wird nur dann durchsucht, wenn der Gesprächsverlauf es notwendig macht. Der Agent lädt also nicht permanent 20 Seiten Dokumentation mit, sondern holt sich gezielt den passenden Abschnitt.

In die Knowledge Base gehören:

• Support- und Produktdokumentation: Anleitungen, Fehlerbehebung, Einrichtungsschritte.
• Lange oder häufig wechselnde FAQ-Sammlungen: Alles ab etwa einem Dutzend Fragen, insbesondere wenn Fachabteilungen die Inhalte pflegen.
• Richtlinien- und Vertragstexte: Widerrufsbelehrung, Garantiebedingungen, Datenschutzhinweise, bei denen die genaue Formulierung zählt.
• Regionale oder kundengruppenspezifische Regeln in Textform: Etwa unterschiedliche Servicezusagen je Standort, solange nichts berechnet werden muss.

Der eigentliche Gewinn ist organisatorisch: Die Knowledge Base trennt Fachinhalt von Verhaltenslogik. Das Serviceteam kann eine Garantiebedingung aktualisieren, ohne dass jemand den Prompt anfasst und damit das Gesprächsverhalten riskiert.

Die Grenze ist ebenso klar. Eine Knowledge Base kann nicht rechnen, nicht sortieren und nicht zuverlässig einzelne Werte aus einer Preistabelle ziehen. Und weil der Abruf vom Kontext abhängt, ist er nicht vollständig deterministisch: Zwei ähnliche Gespräche können leicht unterschiedliche Textstellen treffen. Für Wissensfragen ist das unproblematisch, für verbindliche Zahlen nicht.

Wann nur ein Mid-Call-Tool funktioniert

Sobald der Agent einen exakten, aktuellen Wert braucht oder etwas in einem Fremdsystem verändern soll, führt kein Weg an einem Mid-Call-Tool vorbei. Es ruft während des Gesprächs eine API auf und bekommt eine präzise Antwort zurück.

Typische Fälle:

• Strukturierte Daten aus Fremdsystemen: CRM-Felder, Bestellstatus, Vertragslaufzeit, Lagerbestand je Filiale.
• Personalisierte Echtzeitwerte: Offener Rechnungsbetrag, nächster freier Termin, Lieferstatus.
• Bedingte Logik: Wenn Kundentyp gleich Geschäftskunde und Postleitzahl im Servicegebiet, dann Option B anbieten.
• Schreibende Vorgänge: Lead anlegen, Termin buchen, Adresse ändern, Ticket eröffnen.
• Berechnungen und Schwellenwerte: Qualifizierungskriterien, Rabattstaffeln, Anfahrtspauschalen.

Beispiel aus dem Handwerk: Ein Sanitärbetrieb mit 14 Monteuren lässt den Agent bei jedem Notfallanruf prüfen, ob die Postleitzahl im Einsatzgebiet liegt und ob heute noch ein Monteur verfügbar ist. Beides sind Live-Werte. Würde man das über eine Knowledge Base lösen, würde der Agent gelegentlich einen Einsatz zusagen, den niemand fahren kann. Die technische Umsetzung beschreiben die Custom Mid-Call-Tools, die Anbindung an bestehende Software läuft über die Famulor-Integrationen.

Wann der Flow-Builder die Kontrolle übernimmt

Der Flow-Builder ist die vierte Ebene und in vielen Vergleichen der blinde Fleck. Er legt den Gesprächspfad explizit fest, statt ihn dem Sprachmodell zu überlassen. Das ist immer dann richtig, wenn die Reihenfolge rechtlich oder betrieblich nicht verhandelbar ist.

• Pflichtabfragen: Einwilligung zur Aufzeichnung, Identifikation vor Auskunft, Altersprüfung.
• Formularartige Aufnahme: Schadensmeldung, Patientenaufnahme, Bewerbungs-Vorqualifizierung mit festen Feldern.
• Verzweigungen mit klaren Endpunkten: Drei Anliegenarten, drei unterschiedliche Abschlüsse.

Der Unterschied zum Prompt: Ein Prompt bittet das Modell, eine Reihenfolge einzuhalten. Der Flow-Builder erzwingt sie. Bei einer Einwilligungsabfrage ist das kein Komfort-, sondern ein Compliance-Unterschied.

Die Entscheidungsmatrix im Überblick

Was die falsche Ebene wirklich kostet

Die Kosten einer schlechten Kontext-Architektur zeigen sich an drei Stellen, und keine davon steht auf der Rechnung mit der Überschrift Fehlentscheidung.

Erstens Tokens. Der System Prompt wird bei jedem einzelnen Anruf verarbeitet. Ein Prompt, der von 800 auf 6.000 Wörter wächst, verteuert jeden Anruf, unabhängig davon, ob der Anrufer die zusätzlichen Informationen überhaupt braucht. Bei 40 Anrufen am Tag zahlst du diesen Aufschlag 40 Mal täglich, auch wenn nur zwei Anrufer nach Garantiebedingungen fragen. Wie sich Nutzung auf die Abrechnung auswirkt, steht in der nutzungsbasierten Preislogik.

Zweitens Latenz. Am Telefon ist Wartezeit brutal sichtbar. Es gibt keinen Ladebalken, nur Stille. Je mehr Kontext das Modell bei jeder Antwort verarbeitet, desto länger dauert die erste Silbe. Ein aufgeblähter Prompt verlangsamt dabei jede Antwort im Gespräch, während ein Knowledge-Base-Abruf nur die eine Antwort verzögert, in der er gebraucht wird.

Drittens Pflegeaufwand. Das ist der teuerste Posten und der am häufigsten übersehene. Wenn Preise im Prompt stehen, ist jede Preisänderung ein Eingriff in die Verhaltenslogik des Agents und erfordert einen vollständigen Testdurchlauf. Wenn Preise über ein Mid-Call-Tool aus dem Warenwirtschaftssystem kommen, ist eine Preisänderung schlicht eine Preisänderung.

Rechne für deinen eigenen Fall durch, wie sich Anrufvolumen, Gesprächsdauer und Personalkosten auf die Wirtschaftlichkeit auswirken:

Umsetzung in vier Schritten

1. Inventur machen. Exportiere deinen aktuellen System Prompt und markiere jeden Absatz mit V für Verhalten, W für Wissen oder D für Daten. Alles, was nicht V ist, ist ein Kandidat für den Umzug.
2. Wissen auslagern. Verschiebe alle W-Blöcke in eine Knowledge Base und gib ihr eine präzise Beschreibung, damit der Agent weiß, wann er sie durchsuchen soll. Eine vage Beschreibung ist der häufigste Grund für nicht ausgelöste Abrufe.
3. Daten anbinden. Für jeden D-Block prüfst du, ob es eine API gibt. Kalender, CRM, Warenwirtschaft und Ticketsystem lassen sich in aller Regel über die vorhandenen Integrationen oder ein eigenes Mid-Call-Tool anbinden. Was der Agent im Gespräch einsammelt, speicherst du in Variablen und gibst es strukturiert weiter.
4. Pflichtstrecken absichern. Alles, was rechtlich in einer bestimmten Reihenfolge passieren muss, wanderst du in den Flow-Builder. Danach testest du gegen echte Anrufmitschnitte, nicht gegen ausgedachte Beispielgespräche.

Ein guter Zielwert nach dem Aufräumen: Der System Prompt passt auf zwei bis drei Bildschirmseiten und enthält keine einzige Zahl, die sich ändern könnte.

Typische Fehler aus der Praxis

• Preise im Prompt. Der Klassiker. Preise ändern sich, Prompts werden selten sauber nachgezogen, und der Agent nennt monatelang veraltete Beträge mit voller Überzeugung.
• Öffnungszeiten im Prompt. Funktioniert genau bis zum ersten Feiertag oder Betriebsurlaub. Öffnungszeiten sind Daten, keine Verhaltensregeln.
• Knowledge Base für Tabellen. Preistabellen und Staffelrabatte in eine Knowledge Base zu legen, führt zu plausibel klingenden, aber falsch zusammengesetzten Antworten. Tabellen gehören hinter ein Tool.
• Zu vage Knowledge-Base-Beschreibung. Wenn der Agent nicht weiß, wofür die Wissensquelle zuständig ist, fragt er sie nicht ab und antwortet stattdessen aus dem Modellwissen.
• Alles in den Flow-Builder. Das andere Extrem. Wer jeden Gesprächspfad vorgibt, bekommt wieder ein Sprachmenü, nur mit besserer Stimme. Feste Strecken nur dort, wo sie wirklich nötig sind.
• Keine Fallback-Regel. Für den Fall, dass ein Tool nicht antwortet oder die Knowledge Base nichts findet, braucht der Agent eine klare Anweisung im Prompt: sauber zugeben, Rückruf anbieten, nicht raten.

Drei Branchenbeispiele

Steuerkanzlei mit rund 400 Mandanten. In den Prompt kommen Tonalität, die Regel dass niemals steuerliche Auskunft am Telefon erteilt wird, und die Eskalation an den zuständigen Sachbearbeiter. In die Knowledge Base kommen Fristen-Erklärungen und benötigte Unterlagen je Vorgangsart. Ins Mid-Call-Tool kommen Mandantenstatus und freie Beratungstermine. In den Flow-Builder kommt die Identifikation vor jeder Auskunft.

Shopify-Shop mit etwa 5.000 Bestellungen im Monat. Der Prompt regelt Tonfall und die Grenze bei Kulanzentscheidungen. Die Knowledge Base trägt Widerrufsbelehrung und Rücksendeanleitung. Das Mid-Call-Tool zieht Bestellstatus und Sendungsverfolgung. Der Flow-Builder führt durch die Retourenanmeldung, damit kein Pflichtfeld fehlt.

Autohaus mit Werkstatt und Verkauf. Der Prompt sortiert Anrufer nach Service oder Verkauf und definiert, wann an den Verkaufsberater übergeben wird. Die Knowledge Base enthält Wartungsintervalle und Garantieumfänge. Das Mid-Call-Tool liefert freie Werkstatttermine und Fahrzeugverfügbarkeit. Weitere Branchenzuschnitte findest du unter Branchen.

Fazit

Kontext-Architektur ist kein Detail, sondern der Unterschied zwischen einem Agenten, der drei Monate hält, und einem, der drei Jahre mitwächst. Die Regel ist einfach: Verhalten in den Prompt, Wissen in die Knowledge Base, Daten hinter ein Tool, Pflichtablauf in den Flow-Builder. Klare Grenzen zwischen diesen Ebenen machen deinen Agenten schneller, günstiger und vor allem pflegbar durch die Leute, die den Inhalt ohnehin verantworten.

Wenn du gerade einen bestehenden Agenten aufräumst, starte mit der Inventur aus dem Umsetzungsteil: Prompt exportieren, jeden Absatz mit V, W oder D markieren, und alles bewegen, was nicht V ist. In den meisten Fällen schrumpft der Prompt dabei um mehr als die Hälfte. Mit Famulor baust du alle vier Ebenen ohne Code in derselben Oberfläche und behältst die volle Kontrolle über Kosten, Latenz und Pflege. Eine Übersicht der Tarife findest du unter Preise.

FAQ

Was gehört in den System Prompt und was nicht?

In den Prompt gehören Rolle, Tonalität, Gesprächslogik, Guardrails und Eskalationsregeln. Nicht hinein gehören Preise, Öffnungszeiten, lange FAQ-Sammlungen und alles, was sich ändern kann, ohne dass sich das Verhalten ändern soll.

Wann brauche ich eine Knowledge Base statt eines längeren Prompts?

Sobald du mehr als etwa ein Dutzend FAQ-Antworten hast oder Texte einbindest, die eine Fachabteilung pflegt. Die Knowledge Base wird nur bei Bedarf abgerufen und belastet damit nicht jeden Anruf.

Warum sollte ich Preise nicht in die Knowledge Base legen?

Weil eine Knowledge Base Text findet, aber nicht rechnet und nicht zuverlässig einzelne Zellen aus Tabellen zieht. Preise, Staffeln und Verfügbarkeiten gehören hinter ein Mid-Call-Tool mit exakter API-Antwort.

Erhöht eine Knowledge Base die Latenz meines Voice Agents?

Nur bei den Antworten, in denen sie tatsächlich abgerufen wird. Ein aufgeblähter System Prompt verlangsamt dagegen jede einzelne Antwort im gesamten Gespräch.

Was ist der Unterschied zwischen Flow-Builder und System Prompt?

Der Prompt bittet das Modell, eine Reihenfolge einzuhalten. Der Flow-Builder erzwingt sie technisch. Für Einwilligungen, Identifikation und Pflichtfelder ist dieser Unterschied entscheidend.

Wie groß darf ein System Prompt maximal sein?

Es gibt kein hartes Limit, aber ein guter Zielwert sind zwei bis drei Bildschirmseiten. Alles darüber deutet fast immer darauf hin, dass Wissen oder Daten in den Prompt gewandert sind.

Kann ich alle vier Ebenen bei Famulor ohne Entwickler nutzen?

Ja. System Prompt, Knowledge Base, Mid-Call-Tools und Flow-Builder lassen sich vollständig über die Oberfläche konfigurieren. Für die Datenanbindung stehen über 300 Integrationen bereit.

Was passiert, wenn ein Mid-Call-Tool während des Gesprächs nicht antwortet?

Der Agent braucht dafür eine explizite Fallback-Regel im System Prompt. Sinnvoll ist, den fehlenden Wert offen zu benennen und einen Rückruf oder eine Weiterleitung anzubieten, statt zu raten.

Wie teste ich, ob meine Kontext-Architektur funktioniert?

Teste gegen echte Anrufmitschnitte statt gegen ausgedachte Beispiele. Achte besonders darauf, ob die Knowledge Base bei den erwarteten Fragen tatsächlich ausgelöst wird.