RAG-Architektur
Hallo, ich bin Sophie! 👋 Hier zeige ich Ihnen, wie mein Gehirn funktioniert! Mit RAG (Retrieval-Augmented Generation) finde ich blitzschnell die richtigen Antworten zu österreichischem Steuerrecht - präzise und aktuell.
Ich möchte Ihnen heute einen Blick hinter die Kulissen gewähren: Wie finde ich eigentlich die richtigen Antworten für Sie? Mein Geheimnis heißt RAG (Retrieval-Augmented Generation) - ein ausgeklügeltes System, das mir ermöglicht, präzise und aktuelle Informationen zu österreichischem Steuerrecht zu liefern.
So finde ich die richtigen Antworten: Wenn Sie mir eine Frage stellen, durchsuche ich meine spezialisierte Wissensdatenbank mit österreichischen Rechtstexten und kombiniere das gefundene Wissen mit Ihrem individuellen Kontext - alles in unter 500 Millisekunden.
EU AI Act Transparenzhinweis (Art. 52): Ich bin eine künstliche Intelligenz. Diese Dokumentation erklärt transparent, wie ich arbeite - weil Sie als Nutzerin oder Nutzer das Recht haben zu verstehen, wie mein RAG-System funktioniert und woher meine Informationen stammen.
Was ist RAG?
RAG steht für Retrieval-Augmented Generation - eine Methode, die KI-Systeme intelligenter macht, indem sie externes Wissen abrufen, bevor sie antworten.
Warum Sophie RAG nutzt
| Problem ohne RAG | Lösung mit RAG |
|---|---|
| KI “erfindet” Antworten (Halluzination) | Antworten basieren auf echten Dokumenten |
| Veraltetes Wissen (Training-Cutoff) | Aktuelle österreichische Gesetze (2025/2026) |
| Keine Quellenangaben möglich | Transparente Zitation (UStG, BAO, DSGVO) |
| Allgemeinwissen ohne Spezialisierung | Spezialisiert auf österreichisches Steuerrecht |
Einfach erklärt: Stellen Sie sich vor, Sie fragen mich: “Bin ich mit EUR 48.000 Umsatz noch Kleinunternehmer?” Ohne RAG würde ich raten. Mit RAG schlage ich in meiner Wissensdatenbank nach und finde UStG §6 Abs. 1 Z 27 mit der aktuellen Grenze von EUR 55.000. Dann antworte ich basierend auf dieser verifizierten Quelle.
Sophie’s Knowledge Base
Meine Wissensdatenbank ist das Herzstück meiner RAG-Architektur:
Zahlen & Fakten
| Metrik | Wert | Beschreibung |
|---|---|---|
| Chunks gesamt | 525+ | Aufbereitete Wissens-Einheiten |
| Dokumenttypen | 9 | Gesetze, FAQs, Anleitungen, etc. |
| Compliance-Tags | 11 | UStG, BAO, DSGVO, EU AI Act, BibuG, etc. |
| Aktualisierungsfrequenz | <24h bei Gesetzesänderungen | Kritische Updates sofort |
Dokumenttypen in meiner Knowledge Base
| Typ | Anzahl Chunks | Beispiele |
|---|---|---|
| ustg_law | ~85 | UStG §6 (Kleinunternehmer), §11 (Rechnungen) |
| bao_regulation | ~75 | BAO §132 (Aufbewahrung), §147 (Prüfung) |
| dsgvo_regulation | ~55 | Art. 17 (Löschung), Art. 32 (Sicherheit) |
| nextra_docs | ~180 | BuchhaltGenie-Anleitungen, Features |
| faq_general | ~120 | Häufige Buchhaltungsfragen |
| bmf_erlass | ~95 | BMF-Erlässe, Verordnungen |
| wko_info | ~60 | WKO-Merkblätter, Brancheninfos |
| estg_law | ~50 | Einkommensteuer-Grundlagen |
| compliance_guide | ~31 | Compliance-Checklisten, DSGVO-Guides |
Compliance-Tags
Jeder Chunk in meiner Wissensdatenbank ist mit Compliance-Tags versehen, die mir helfen, die richtigen Quellen zu finden:
Chunk: "Kleinunternehmergrenze 2025"
├── complianceTags: ["UStG", "Kleinunternehmer"]
├── valid_from: "2025-01-01"
├── jurisdiction: "AT"
└── source: "nextra-docs/compliance/kleinunternehmer.mdx"Unterstützte Compliance-Tags:
- UStG - Umsatzsteuergesetz
- BAO - Bundesabgabenordnung
- DSGVO - Datenschutz-Grundverordnung
- EStG - Einkommensteuergesetz
- BibuG - Bilanzbuchhaltungsgesetz
- UGB - Unternehmensgesetzbuch
- EU AI Act - KI-Verordnung (2024/1689)
- GewO - Gewerbeordnung
- KSchG - Konsumentenschutzgesetz
- PAngG - Preisangabengesetz
- DSG - Datenschutzgesetz (Österreich)
Architektur-Überblick
Bevor wir ins Detail gehen, hier ein Überblick über meine RAG-Pipeline:
┌─────────────────────────────────────────────────────────────────────┐
│ Ihre Frage │
│ "Bin ich mit €48.000 noch Kleinunternehmer?" │
└─────────────────────────────────────────────────────────────────────┘
│
▼
┌─────────────────────────────────────────────────────────────────────┐
│ 1. HYBRID SEARCH │
│ ┌──────────────────┐ ┌──────────────────┐ │
│ │ Full-Text │ │ Vector │ │
│ │ Search (BM25) │ │ Search │ │
│ │ │ │ │ │
│ │ "Kleinunter- │ │ Semantische │ │
│ │ nehmer" → │ │ Bedeutung → │ │
│ │ exakte Treffer │ │ ähnliche │ │
│ │ │ │ Konzepte │ │
│ └────────┬─────────┘ └────────┬─────────┘ │
│ │ │ │
│ └───────────┬───────────┘ │
│ │ │
│ Alpha = 0.7 │
│ (70% Semantic, 30% Keyword) │
└─────────────────────────────────────────────────────────────────────┘
│
▼
┌─────────────────────────────────────────────────────────────────────┐
│ 2. COHERE RERANKING │
│ Model: multilingual-v3.0 │
│ │
│ Top 20 Ergebnisse → Neu bewertet → Top 5 relevanteste │
│ │
│ Optimiert für deutsche Rechtstexte │
└─────────────────────────────────────────────────────────────────────┘
│
▼
┌─────────────────────────────────────────────────────────────────────┐
│ 3. CONTEXT BUILDING │
│ • XML-Format RAG Context │
│ • Source Attribution (Quellenangabe) │
│ • Confidence Scoring │
└─────────────────────────────────────────────────────────────────────┘
│
▼
┌─────────────────────────────────────────────────────────────────────┐
│ Ihre Antwort │
│ "Mit €48.000 sind Sie Kleinunternehmer gemäß UStG §6..." │
│ 📖 Quelle: UStG §6 Abs. 1 Z 27 | 🎯 Confidence: 96% │
└─────────────────────────────────────────────────────────────────────┘1. Hybrid Search System
Das Herzstück meiner Suche ist das Hybrid Search System, das zwei komplementäre Suchmethoden kombiniert:
Full-Text Search (BM25)
| Eigenschaft | Beschreibung |
|---|---|
| Methode | BM25 (Best Matching 25) |
| Stärke | Exakte Begriffe und Phrasen |
| Ideal für | Paragraphen (§6, §11), UID-Nummern, Fachbegriffe |
| Beispiel | ”UStG §6 Abs. 1 Z 27” → exakter Treffer |
Vector Search (Semantisch)
| Eigenschaft | Beschreibung |
|---|---|
| Methode | Embedding-basierte Ähnlichkeitssuche |
| Stärke | Semantisches Verständnis |
| Ideal für | Konzepte, Umschreibungen, Synonyme |
| Beispiel | ”umsatzsteuerbefreit” → findet auch “Kleinunternehmer” |
Alpha-Balancing: 0.7
Der Alpha-Wert von 0.7 bestimmt die Gewichtung:
Hybrid Score = 0.7 × Vector Score + 0.3 × BM25 ScoreWarum 0.7?
70% Semantic + 30% Keyword ist optimal für österreichische Rechtstexte, weil:
- Rechtsfragen oft umschrieben werden (“muss ich Steuern zahlen?” statt “Umsatzsteuerpflicht”)
- Exakte Paragraphen-Referenzen trotzdem gefunden werden müssen
- Deutsche Komposita (z.B. “Kleinunternehmerregelung”) semantisch verstanden werden
Ein reiner Keyword-Search (Alpha=0) würde Umschreibungen nicht finden. Ein reiner Vector-Search (Alpha=1) könnte exakte Paragraphen-Nummern übersehen.
2. Cohere Reranking
Nach der initialen Suche kommt das Cohere Reranking zum Einsatz - ein spezialisiertes Modell, das die Relevanz der Ergebnisse verbessert.
Warum Reranking?
Initiale Suche liefert Top 20
Die Hybrid Search findet die 20 vielversprechendsten Dokumente.
Cohere bewertet neu
Das multilingual-v3.0 Modell analysiert jedes Dokument im Kontext Ihrer Frage.
Top 5 werden ausgewählt
Die tatsächlich relevantesten 5 Dokumente bilden meinen Kontext.
Technische Details
| Parameter | Wert | Beschreibung |
|---|---|---|
| Modell | rerank-multilingual-v3.0 | Optimiert für 100+ Sprachen |
| Input | Top 20 aus Hybrid Search | Kandidaten für Reranking |
| Output | Top 5 mit Relevanz-Score | Finale Kontextdokumente |
| Latenz | ~100ms | Zusätzliche Verarbeitungszeit |
Beispiel: Reranking in Aktion
Ihre Frage: "Welche Aufbewahrungsfristen gelten für Rechnungen?"
Nach Hybrid Search (Top 5 von 20):
1. BAO §132 - Aufbewahrungspflichten (Score: 0.82)
2. UStG §11 - Rechnungsausstellung (Score: 0.79)
3. DSGVO Art. 17 - Löschungsrecht (Score: 0.75)
4. UGB §190 - Aufbewahrung von Unterlagen (Score: 0.73)
5. BAO §147 - Betriebsprüfung (Score: 0.71)
Nach Cohere Reranking:
1. BAO §132 - Aufbewahrungspflichten (Score: 0.95) ⬆️
2. UGB §190 - Aufbewahrung von Unterlagen (Score: 0.88) ⬆️
3. BAO §147 - Betriebsprüfung (Score: 0.72)
4. UStG §11 - Rechnungsausstellung (Score: 0.65) ⬇️
5. DSGVO Art. 17 - Löschungsrecht (Score: 0.42) ⬇️Ergebnis: Durch Reranking werden die wirklich relevanten Dokumente (BAO §132, UGB §190) höher gewichtet, während weniger relevante (DSGVO-Löschung, die ja das Gegenteil von Aufbewahrung ist) abgestuft werden.
3. Knowledge Base
Meine Wissensdatenbank ist speziell für österreichische Buchhaltung kuratiert:
Inhaltsübersicht
| Kategorie | Umfang | Aktualisierung |
|---|---|---|
| Österreichische Steuergesetze | UStG, BAO, EStG vollständig | Bei Gesetzesänderung |
| DSGVO & Datenschutz | EU-Verordnung + DSG (AT) | Jährlich |
| BuchhaltGenie-Dokumentation | Alle Features & Anleitungen | Bei Release |
| FAQ & Hilfe-Artikel | 500+ häufige Fragen | Monatlich |
| BMF-Erlässe | Aktuelle Auslegungen | Bei Veröffentlichung |
| WKO-Informationen | Brancheninfos, Tipps | Quartalsweise |
Optimierung für österreichische Rechtstexte
Chunking-Strategie
Rechtstexte werden intelligent in Abschnitte unterteilt:
┌─────────────────────────────────────────┐
│ UStG §6 Abs. 1 Z 27 │
│ (Kleinunternehmerregelung) │
├─────────────────────────────────────────┤
│ Chunk 1: Gesetzestext (Original) │
│ Chunk 2: Erläuterungen & Beispiele │
│ Chunk 3: BMF-Auslegung │
│ Chunk 4: Häufige Fragen │
└─────────────────────────────────────────┘Chunk-Größe: 512 Tokens (optimal für Embedding-Qualität) Overlap: 50 Tokens (Kontexterhalt an Grenzen)
4. Context Building
Nachdem die relevantesten Dokumente identifiziert sind, baue ich den Kontext für meine Antwort:
XML-Format RAG Context
<rag_context>
<document rank="1" confidence="0.95">
<source>BAO §132</source>
<type>law</type>
<content>
Die Aufbewahrungspflicht für Bücher, Aufzeichnungen und
die zu den Büchern und Aufzeichnungen gehörigen Belege
beträgt sieben Jahre. Die Frist beginnt mit Ablauf des
Kalenderjahres, für das die Eintragungen vorgenommen wurden.
</content>
</document>
<document rank="2" confidence="0.88">
<source>UGB §190</source>
<type>law</type>
<content>
Der Unternehmer hat seine Handelsbücher, Inventare,
Eröffnungsbilanzen, Jahresabschlüsse und die empfangenen
Handelsbriefe sieben Jahre geordnet aufzubewahren.
</content>
</document>
<user_context>
<business_type>Kleinunternehmer</business_type>
<accounting_mode>E/A-Rechnung</accounting_mode>
</user_context>
</rag_context>Source Attribution (Quellenangabe)
Jede meiner Antworten enthält nachvollziehbare Quellenangaben:
| Element | Beispiel | Zweck |
|---|---|---|
| Primärquelle | UStG §6 Abs. 1 Z 27 | Gesetzliche Grundlage |
| Sekundärquelle | BMF-Erlass 2024 | Aktuelle Auslegung |
| Confidence | 96% | Transparenz zur Sicherheit |
| Stand | Jänner 2026 | Aktualität des Wissens |
Confidence Scoring
Mein Confidence-Score basiert auf mehreren Faktoren:
Confidence =
0.4 × Reranking_Score
+ 0.3 × Source_Authority
+ 0.2 × Query_Match
+ 0.1 × Recency| Faktor | Gewicht | Beschreibung |
|---|---|---|
| Reranking Score | 40% | Relevanz laut Cohere-Modell |
| Source Authority | 30% | Gesetzestext > FAQ > Blogartikel |
| Query Match | 20% | Wie gut passt die Frage zu den Quellen? |
| Recency | 10% | Aktuellere Quellen leicht bevorzugt |
5. Performance
Meine RAG-Pipeline ist auf Geschwindigkeit optimiert:
Latenz-Ziele
| Metrik | Ziel | Aktuell |
|---|---|---|
| P50 | < 200ms | ~150ms |
| P95 | < 500ms | ~420ms |
| P99 | < 1000ms | ~780ms |
Performance-Breakdown
Gesamtlatenz: ~420ms (P95)
├── Hybrid Search: 120ms
├── Cohere Reranking: 100ms
├── Context Building: 50ms
├── LLM Response: 130ms
└── Netzwerk/Overhead: 20msWas bedeutet das für Sie? 95% aller Ihrer Fragen werden in weniger als einer halben Sekunde beantwortet - inklusive Suche in hunderten von Dokumenten, Reranking und Antwortgenerierung.
Optimierungsstrategien
Caching
Mehrstufiges Caching:
| Cache-Level | TTL | Hit-Rate |
|---|---|---|
| Embedding Cache | 24h | ~60% |
| Search Results | 1h | ~40% |
| Reranking Results | 15min | ~25% |
Häufige Fragen wie “Kleinunternehmergrenze?” werden aus dem Cache beantwortet.
Beispiel-Interaktion
So sieht eine typische RAG-Interaktion aus:
Sie: Muss ich als Kleinunternehmer Umsatzsteuer auf meinen
Rechnungen ausweisen?
─── RAG-Pipeline startet ───
1. HYBRID SEARCH (120ms)
Query embedding generiert
BM25: ["Kleinunternehmer", "Umsatzsteuer", "Rechnung"]
Vector: Semantische Ähnlichkeit zu "Steuerbefreiung"
Top 20 Kandidaten gefunden:
- UStG §6 Abs. 1 Z 27 (0.89)
- UStG §11 (0.82)
- BMF-Erlass Kleinunternehmer (0.78)
- ...
2. COHERE RERANKING (100ms)
Reranked Top 5:
- UStG §6 Abs. 1 Z 27 (0.96) ✓
- BMF-Erlass 2024 (0.91) ✓
- UStG §11 Abs. 1 (0.85) ✓
- FAQ Kleinunternehmer (0.72) ✓
- WKO Merkblatt (0.68) ✓
3. CONTEXT BUILDING (50ms)
XML-Kontext erstellt
Quellenattribution hinzugefügt
User-Kontext: Kleinunternehmer, E/A-Rechnung
4. LLM RESPONSE (130ms)
Confidence: 96%
─── Gesamtzeit: 400ms ───
Sophie: Als Kleinunternehmer gemäß UStG §6 Abs. 1 Z 27
weisen Sie KEINE Umsatzsteuer aus.
Stattdessen fügen Sie den Hinweis hinzu:
"Umsatzsteuerbefreit gemäß § 6 Abs. 1 Z 27 UStG"
Wichtig für Ihre Rechnung:
✅ Nur Nettobetrag angeben
✅ Hinweis auf Steuerbefreiung
❌ Keine USt-Zeile
❌ Kein Vorsteuerabzug möglich
📖 Quellen:
• UStG §6 Abs. 1 Z 27
• BMF-Erlass GZ BMF-010219/0288-IV/4/2024
🎯 Confidence: 96%
📅 Wissensstand: Jänner 2026Häufig gestellte Fragen
Was passiert, wenn Sophie keine relevanten Dokumente findet?
Wenn der höchste Reranking-Score unter 0.5 liegt, gebe ich das ehrlich zu und empfehle alternative Quellen oder die Konsultation eines Steuerberaters. Ich erfinde niemals Informationen.
Wie aktuell ist Sophies Wissen?
Meine Knowledge Base wird bei Gesetzesänderungen innerhalb von 24-48 Stunden aktualisiert. Kritische Änderungen wie die Kleinunternehmergrenze werden noch schneller eingepflegt. Der aktuelle Wissensstand wird bei jeder Antwort angezeigt.
Warum verwendet Sophie nicht einfach ChatGPT?
Generische LLMs wie ChatGPT haben keinen Zugriff auf aktuelle österreichische Rechtstexte und können veraltete oder falsche Informationen liefern. Mein RAG-System stellt sicher, dass ich immer auf verifizierte, aktuelle Quellen zugreife.
Wie genau ist die Quellenangabe?
Jede Quellenangabe verweist auf den exakten Paragraphen oder Artikel, aus dem die Information stammt. Sie können die Quelle jederzeit selbst überprüfen - Transparenz ist mir wichtig.
EU AI Act Compliance (Art. 52)
Sophie AI ist vollständig konform mit dem EU AI Act (Verordnung 2024/1689). Hier dokumentiere ich, wie ich die Transparenzanforderungen erfülle:
Transparenzpflichten nach Art. 52
| Anforderung | Umsetzung bei Sophie | Status |
|---|---|---|
| KI-Kennzeichnung | Sophie identifiziert sich bei jeder Interaktion als KI | ✅ Erfüllt |
| Keine Täuschung | Klare Unterscheidung: “Ich bin Sophie, deine KI-Assistentin” | ✅ Erfüllt |
| Datenherkunft | Nur verifizierte Dokumentation als Quelle | ✅ Erfüllt |
| Human Oversight | Disclaimer bei Steuerfragen, Empfehlung Steuerberater | ✅ Erfüllt |
| Funktionsweise | Diese Dokumentation erklärt transparent die RAG-Architektur | ✅ Erfüllt |
KI-Kennzeichnung in der Praxis
Bei jeder Interaktion identifiziere ich mich als KI:
👋 Hallo! Ich bin Sophie, deine KI-Assistentin für österreichische
Buchhaltung. Ich bin eine künstliche Intelligenz und ersetze
keine professionelle Steuerberatung.Keine Täuschung
| Element | Umsetzung |
|---|---|
| Name | ”Sophie” - kein menschlich klingender Nachname |
| Avatar | Stilisiertes Genie-Icon, kein menschliches Foto |
| Sprache | Ich sage “Ich bin eine KI”, nicht “Ich bin Expertin” |
| Grenzen | Ich kommuniziere offen, wenn ich unsicher bin |
Datenherkunft: Nur verifizierte Quellen
Meine Antworten basieren ausschließlich auf:
- Offizielle Gesetze - UStG, BAO, DSGVO (aus RIS/EUR-Lex)
- BMF-Erlässe - Veröffentlichte Ministerialentscheidungen
- BuchhaltGenie-Dokumentation - Geprüfte Anleitungen aus nextra-docs
- WKO-Informationen - Offizielle Wirtschaftskammer-Merkblätter
Ich erfinde niemals Informationen - wenn ich keine passende Quelle finde, sage ich das ehrlich.
Human Oversight: Disclaimer bei Steuerfragen
Bei jeder Steuerantwort zeige ich folgenden Disclaimer:
“Diese Information dient der allgemeinen Orientierung und ersetzt keine individuelle Steuerberatung durch einen befugten Steuerberater gemäß BibuG. Bei konkreten Steuerfragen wenden Sie sich bitte an Ihren Steuerberater oder das zuständige Finanzamt.”
Warum Human Oversight wichtig ist:
- Steuerrecht hat Ausnahmen und Sonderfälle
- Individuelle Situationen erfordern Expertenbeurteilung
- BibuG schützt vor unbefugter Steuerberatung
- EU AI Act fordert menschliche Kontrolle bei Entscheidungen
Datenschutz (DSGVO)
Der Schutz Ihrer Daten hat bei mir oberste Priorität. Hier ist meine DSGVO-Compliance:
Keine Speicherung von Chat-Historien nach Session
| Aspekt | Umsetzung |
|---|---|
| Session-Speicherung | Nur während aktiver Nutzung |
| Langzeitspeicherung | Nur anonymisierte Audit-Logs (BAO §132) |
| Löschung | Personenbezogene Daten werden nach Session gelöscht |
| Retention | 7 Jahre nur für steuerrelevante Audit-Trails |
Anonymisierung von Fragen
Wenn Audit-Logs erstellt werden, werden Ihre Fragen anonymisiert:
Ihre Frage (original):
"Mein Kunde Max Mustermann, UID ATU12345678, schuldet mir €5.000"
Im Audit-Log (anonymisiert):
"Mein Kunde [PERSON], UID ATU********, schuldet mir €5.0..."
(auf 50 Zeichen gekürzt + PII-Redaktion)PII-Masking bei Antworten
Ich erkenne und schütze automatisch personenbezogene Daten:
| Datentyp | Erkennung | Schutz |
|---|---|---|
| UID-Nummern | ATU[0-9]\{8\} | Werden in Logs maskiert |
| IBAN | AT[0-9]\{18\} | Werden nicht an Dritte übermittelt |
| E-Mail-Adressen | *@*.* | Anonymisierung in Audit-Logs |
| Telefonnummern | +43... | PII-Redaktion |
| Namen | NER-Erkennung | Optional anonymisiert |
Datenverarbeitung in der EU
| Komponente | Standort | Zertifizierung |
|---|---|---|
| RAG-Index | AWS Frankfurt (eu-central-1) | ISO 27001 |
| Embeddings | AWS Frankfurt | SOC 2 |
| Audit-Logs | AWS Frankfurt | DSGVO-konform |
| Backups | AWS Dublin (eu-west-1) | Geo-Redundanz |
Ihre Daten bleiben in der EU: Alle Verarbeitungen finden ausschließlich auf EU-Servern statt. Es findet kein Datentransfer in Drittländer statt.
Keine Verwendung für KI-Training
Ihre Fragen werden niemals verwendet, um:
- KI-Modelle zu trainieren
- Anonymisierte Datensätze zu erstellen
- An Dritte weitergegeben zu werden
Ausnahme: Anonymisierte Audit-Logs gemäß BAO §132 für die 7-jährige Aufbewahrungspflicht.
RAG-Pipeline: Schritt für Schritt
So verarbeite ich Ihre Frage:
┌─────────────────────────────────────────────────────────────────────┐
│ 1. USER FRAGT │
│ "Bin ich mit €48.000 noch Kleinunternehmer?" │
└─────────────────────────────────────────────────────────────────────┘
│
▼
┌─────────────────────────────────────────────────────────────────────┐
│ 2. EMBEDDING DER FRAGE │
│ • Text → Vektor (3072 Dimensionen) │
│ • Model: text-embedding-3-large │
│ • Latenz: ~30ms │
└─────────────────────────────────────────────────────────────────────┘
│
▼
┌─────────────────────────────────────────────────────────────────────┐
│ 3. VEKTOR-SUCHE IN KNOWLEDGE BASE │
│ • Hybrid Search: 70% Semantic + 30% Keyword │
│ • Durchsucht: 525+ Chunks │
│ • Findet: Top 20 Kandidaten │
│ • Latenz: ~120ms │
└─────────────────────────────────────────────────────────────────────┘
│
▼
┌─────────────────────────────────────────────────────────────────────┐
│ 4. COHERE RERANKING │
│ • Model: multilingual-v3.0 │
│ • Top 20 → Top 5 relevanteste │
│ • Optimiert für deutsche Rechtstexte │
│ • Latenz: ~100ms │
└─────────────────────────────────────────────────────────────────────┘
│
▼
┌─────────────────────────────────────────────────────────────────────┐
│ 5. TOP-K CHUNKS WERDEN ABGERUFEN │
│ • Chunk 1: UStG §6 Abs. 1 Z 27 (Score: 0.96) │
│ • Chunk 2: BMF-Erlass 2024 (Score: 0.91) │
│ • Chunk 3: FAQ Kleinunternehmer (Score: 0.85) │
│ • Chunk 4: WKO-Merkblatt (Score: 0.78) │
│ • Chunk 5: Compliance-Guide (Score: 0.72) │
└─────────────────────────────────────────────────────────────────────┘
│
▼
┌─────────────────────────────────────────────────────────────────────┐
│ 6. LLM GENERIERT ANTWORT MIT KONTEXT │
│ • Model: Claude 3.5 Sonnet (Anthropic) │
│ • Input: Frage + Top-5 Chunks + User-Kontext │
│ • Output: Strukturierte Antwort mit Quellenangaben │
│ • Latenz: ~130ms │
└─────────────────────────────────────────────────────────────────────┘
│
▼
┌─────────────────────────────────────────────────────────────────────┐
│ 7. ANTWORT AN USER │
│ "Mit €48.000 sind Sie Kleinunternehmer gemäß UStG §6..." │
│ 📖 Quellen: UStG §6 Abs. 1 Z 27, BMF-Erlass 2024 │
│ 🎯 Confidence: 96% │
│ ⚖️ Disclaimer: Ersetzt keine Steuerberatung │
└─────────────────────────────────────────────────────────────────────┘Gesamtlatenz: ~420ms (P95) - 95% aller Anfragen in unter einer halben Sekunde.
Technische Zusammenfassung
| Komponente | Technologie | Konfiguration |
|---|---|---|
| Knowledge Base | 525+ Chunks aus österr. Rechtstexten | 9 Dokumenttypen, 11 Compliance-Tags |
| Hybrid Search | BM25 + pgvector | Alpha = 0.7 |
| Reranking | Cohere multilingual-v3.0 | Top 20 → Top 5 |
| Embeddings | text-embedding-3-large | 3072 Dimensionen |
| LLM | Claude 3.5 Sonnet | EU-Routing |
| Latenz (P95) | < 500ms | Ziel: < 400ms |
| EU AI Act | Art. 52 Transparenz | ✅ Vollständig erfüllt |
| DSGVO | Art. 5, 17, 32 | ✅ Vollständig erfüllt |
Transparenz gemäß EU AI Act: Diese Dokumentation erfüllt die Transparenzanforderungen des EU AI Act Art. 52. Als Nutzer haben Sie das Recht zu verstehen, wie Sophie AI funktioniert und woher die Informationen stammen.
Weiterführende Dokumentation:
- RAG-Sicherheit & Compliance - Datenschutz und Audit-Logging im Detail
- Wie Sophie lernt - Query Classification und Chunk-Typen
- Was kann Sophie? - Fähigkeiten und Grenzen
- Erste Schritte - Sophie AI kennenlernen