README

ThemisDB Dokumentations-Index

Stand: 20. Dezember 2025
Version: 1.3.0 (LLM Integration Release)
Typ: Dokumentations-Index

---

🚀 NEW in v1.3.0: Native LLM Integration (Optional Feature) ✅

AI direkt in der Datenbank - ohne externe API-Kosten!

Wichtig: LLM-Integration ist ein optionales Feature in v1.3.0:

• Erfordert Build-Flag: -DTHEMIS_ENABLE_LLM=ON
• Benötigt externe Abhängigkeit: llama.cpp (separat klonen)
• Siehe Build Guide für Setup-Anweisungen

ThemisDB kann als erste Multi-Model-Datenbank mit eingebetteter LLM-Engine erweitert werden:

Highlights (Production-Ready, wenn aktiviert)

• 🧠 Embedded llama.cpp - SLMs/LLMs (1B-70B Parameter) direkt auf GPU ✅
• ⚡ GPU Acceleration - Signifikanter Speedup mit NVIDIA CUDA support ✅
• 💾 PagedAttention - Optimierte Memory-Verwaltung ✅
• 🎯 Continuous Batching - Mehrere concurrent requests ✅
• 🔧 Kernel Fusion - CUDA kernels für zusätzlichen Speedup ✅
• 📊 Production Monitoring - Grafana/Prometheus Integration ✅
• 🔌 Plugin Architecture - Extensible LLM backend system ✅
• 🌐 RPC Framework - Inter-Shard Communication für distributed LLM ops ✅
• 🖼️ Image Analysis Plugins - Multi-backend AI (llama.cpp Vision, ONNX CLIP, OpenCV DNN) ✅

Network Protocol Enhancements (v1.3.0)

• 🌐 HTTP/2 with Server Push - CDC/Changefeed mit proaktiver Event-Delivery (~0ms Latenz) ✅
• 🔌 WebSocket Support - CDC streaming mit bidirektionaler Echtzeit-Kommunikation ✅
• 📡 MQTT Broker - WebSocket transport, Rate limiting, Monitoring-Metriken ✅
• 🚀 HTTP/3 Base - QUIC-basierte Implementierung (ngtcp2 + nghttp3) 🚧
• 🐘 PostgreSQL Wire Protocol - SQL-to-Cypher Translation für BI-Tool Kompatibilität ✅
• 🤖 MCP Server - Model Context Protocol mit cross-platform Support ✅

Performance Metrics (mit GPU)

• Signifikanter Speedup mit GPU vs CPU-only
• Memory-Ersparnis mit PagedAttention
• Zusätzliche Optimierung mit Kernel Fusion
• Umfassende Test Coverage mit Unit Tests

GPU-Tier Empfehlungen

GPU-Tier	Hardware	Model	Use Case	Kosten/1M Tokens	vs. GPT-4
Entry	RTX 4060 Ti (16GB)	Phi-3-Mini (3.8B)	FAQ, einfache RAG	€0.02	1500x günstiger
Mid-Range	RTX 4090 (24GB)	Mistral-7B	Production RAG	€0.05	600x günstiger
High-End	A100 (80GB)	Llama-3-70B	Enterprise Scale	€0.15	200x günstiger

Break-Even vs. Hyperscaler: 2-7 Monate je nach Hardware-Tier

Dokumentation (v1.3.0)

• GPU Inference Guide ⭐ v1.3.0

  • CUDA Setup und Konfiguration
  • Performance-Tuning
  • Troubleshooting

• Quantization Guide ⭐ v1.3.0

  • Q4_K_M, Q5_K_M, Q8_0 Formate
  • Memory vs. Quality Trade-offs
  • Best Practices

• Performance Benchmarks ⭐ v1.3.0

  • GPU vs. CPU Vergleiche
  • Throughput-Messungen
  • Latenz-Analysen

• Deployment Guide ⭐ v1.3.0

  • Docker mit GPU-Support
  • Kubernetes Deployment
  • Production Best Practices

• RPC Framework ⭐ v1.3.0

  • Inter-Shard Communication
  • TLS/mTLS Security
  • Snapshot/Blob Transfer

• GPU-Tier Analyse & Hyperscaler-Vergleich

  • SLM/LLM Performance auf Entry/Mid/High-End GPUs
  • TCO-Analyse über 3 Jahre
  • ROI-Berechnung vs. AWS/Azure/GCP

• Alle LLM Dokumentation - Kompletter Index (31 Guides)

---

📁 Dokumentations-Struktur (Neu Organisiert)

Die Dokumentation wurde neu strukturiert für bessere Übersichtlichkeit:

Root-Dokumente (nur essentials):

• README.md - Hauptdokumentation
• index.md - Dokumentations-Index
• glossary.md - Terminologie

Organisierte Ordner:

• aql/ - AQL Grammatik (EBNF) ⭐ v1.3.0
• build/ - Build-System-Dokumentation (BUILD-SYSTEM.md, BUILDGUIDE.md, etc.)
• development/ - Entwicklungs-Dokumentation (IMPLEMENTATION-.md, CODE_REVIEW-.md)
• guides/ - Benutzer- und Entwickler-Guides (RAILWAY_COMPLETE_GUIDE.md, etc.)
• architecture/ - Architektur-Dokumentation (ARCHITECTURE_OVERVIEW.md, etc.)
• stakeholder/ - Stakeholder-Dokumentation
• releases/ - Release-Notizen (v1.3.0.md, v1.2.0.md, v1.1.0.md, etc.)
• llm/ - LLM & AI Integration ⭐ v1.3.0 RELEASED
• plugins/ - RPC Framework ⭐ v1.3.0
• archive/ - Alte/historische Dokumentation

---

🔮 COMING SOON - v1.1.0 Optimization Release (Q1 2026):

Fokus: Bestehende Libraries besser nutzen + vLLM Co-Location
Highlights:

• ✅ RocksDB TTL, Incremental Backup, Stats (keine neue Lib!)
• ✅ TBB Parallel Sort, Concurrent Containers (keine neue Lib!)
• ✅ Arrow Parquet Export (keine neue Lib!)
• ✅ CUDA als Kernbestand (wenn GPU verfügbar, NICHT Enterprise!)
• ✅ 🆕 ThemisDB + vLLM Synergie (optimierte CPU/GPU/RAM Koordination)
• ✅ mimalloc (einzige neue Dependency, 20-40% Memory Boost)

Engineering: 9-11 Wochen | Impact: 3-10x Performance
Details: v1.1.0 Variant Strategy

🚀 PLANNED - v1.2.0 Enterprise Features (Q2 2026):

Fokus: vLLM AI Support (LoRA), Geo-Spatial (PostGIS), IoT/Timescale
Highlights:

• ✅ LoRA Manager - Multi-Tenant LoRA Serving (HuggingFace PEFT)
• ✅ FAISS Advanced - IVF+PQ Vector Search (bereits integriert, erweitern!)
• ✅ GEOS + PROJ - PostGIS Compatibility (Topology + Geography)
• ✅ Hypertables - TimescaleDB-kompatibel via RocksDB CF (nur Code!)
• ✅ cuSpatial - GPU Geo Ops (optional, nutzt Arrow + CUDA)

Engineering: 12-16 Wochen | Impact: PostGIS + LoRA + TimescaleDB Compatibility
Details: Enterprise Features Strategy

---

📚 Haupt-Dokumentation

Übersichtsdokumente

• Changelog - Vollständige Versionshistorie (v1.2.0, v1.1.0, v1.0.2, v1.0.1, v1.0.0)
• 🆕 Roadmap v1.1.0 - AKTUALISIERT: Q1 2026 Optimization Release
• Architecture Overview - Komplette Systemarchitektur mit Diagrammen
• Source Code Changes v1.0 - Detaillierte Quellcode-Dokumentation (191 Dateien, 26 Module)
• Features Liste - Vollständige Feature-Übersicht mit Status

---

🎯 Nach Zielgruppe

Für Stakeholder & Management

• Themis Sachstandsbericht 2025 - Executive Summary, Status v1.0.1
• 🆕 v1.1.0 Variant Strategy - Q1 2026: Optimierungs-Strategie mit vLLM Co-Location (9-11 Wochen, 1 neue Lib)
• 🆕 v1.2.0 Enterprise Features - Q2 2026: vLLM AI (LoRA), Geo-Spatial (PostGIS), IoT/Timescale (12-16 Wochen, 3 neue Libs)
• Projektkostenschätzung & Gesamtwert - 🔒 Confidential (available to licensed customers only)
• Release Strategy Audit - SLSA Compliance, SBOM (8.5/10 Rating)
• Release & Benchmarking Summary - v1.0.1 Session Report

Für Entwickler

• Development Summary - Entwicklungsstand v1.0.1
• 🆕 External Libraries Analysis - NEU: Feature-Gap-Analyse (RocksDB, TBB, CUDA, Arrow)
• 🆕 Library Interactions - NEU: Wechselwirkungen & zusätzliche Libraries
• Source Code Audit - Code-Analyse (132 Header, 124 Sources, 90.829 LOC)
• Documentation Index - Vollständiger Dokumentations-Index mit Modul-Mapping
• Documentation Verification - Verifizierung Dokumentation ↔ Code

Für DevOps & Operations

• Operations Runbook - Tägliche Operationen
• Deployment Guide - Deployment-Strategien
• Build Strategy - Build-Toolchain
• Docker Guide - Container-Deployment

Für Security & Compliance

• Compliance Dashboard - Übersicht aller Compliance-Aktivitäten
• Security Audit Report - Durchgeführtes Security Audit
• Compliance Full Checklist - BSI C5, ISO 27001, DSGVO, eIDAS, SOC 2
• Security Policy - Vulnerability Disclosure
• Incident Response Plan - Notfallplan (BSI IT-Grundschutz & NIST CSF)
• SBOM Documentation - Software Bill of Materials (CycloneDX 1.4)
• DPIA - Datenschutz-Folgenabschätzung (DSGVO Art. 35)
• BCP/DRP - Business Continuity (ISO 22301 & NIS2)

---

🏗️ Nach Architektur-Ebene

Query & Analytics Layer

• AQL Documentation - Advanced Query Language (Parser, Optimizer, 240K LOC)
• Query Module - Query Engine, Execution
• Analytics Module - OLAP Engine (CUBE, ROLLUP), CEP, Process Mining (57K LOC)
• Search Documentation - Fulltext (BM25), Vector, Hybrid Search

Storage & Index Layer

• Storage Module - RocksDB Wrapper, LSM-Tree, MVCC (76K LOC)
• Index Module - Vector HNSW, Graph, Secondary, Spatial (400K LOC)
• Cache Module - Semantic Cache, Result Cache
• Timeseries Module - Gorilla Compression, Aggregates (39K LOC)

Distribution & Scaling Layer

• Sharding Module - VCC-URN Sharding, Auto-Rebalancing, Gossip (300K LOC)
• Replication Module - Leader-Follower, Multi-Master CRDTs (12K LOC)
• Transaction Module - MVCC, SAGA Patterns (42K LOC)

Acceleration Layer

• GPU Acceleration Plan - 10 GPU Backends (173K LOC)
  • CUDA, Vulkan, FAISS, DirectX, HIP, OpenCL, OneAPI, ZLUDA

Content & Data Processing

• Content Module - 15 File Format Processors (256K LOC)
• CDC Module - Change Data Capture, Changefeed
• Geo Module - Spatial Operations, Plugin System

Server & API Layer

• Server Module - HTTP Server, 21 API Handlers (164K LOC)
• HTTP API Referenz - Vollständige HTTP Endpoint-Dokumentation ⭐
• API Documentation - REST API Übersicht
• LLM Module - LLM Interaction Store, Prompt Manager

Security & Governance Layer

• Security Module - Field Encryption, HSM/PKI, RBAC, Ranger (187K LOC)
• Governance Module - Policy Engine, Data Classification
• Auth Module - JWT Validation, Multi-Tenancy

---

🚀 Quick Start Guides

Installation & Deployment

• Main README - Projekt-Übersicht und Quick Start
• Deployment Guide - Deployment-Optionen
• Docker Guide - Container-Deployment
• QNAP Quickstart - ARM-Deployment

Getting Started

• Architecture Overview - System-Architektur verstehen
• Features Overview - Verfügbare Features
• AQL Tutorial - Query Language lernen

---

📖 Referenz-Dokumentation

Client SDKs

• SDK Audit - Übersicht aller 7 SDKs
• Python SDK - Python Client
• JavaScript SDK - Node.js/Browser Client
• Rust SDK - Rust Client
• Go SDK - Go Client
• Java SDK - Java Client
• C# SDK - .NET Client
• Swift SDK - iOS/macOS Client

Data Import/Export

• Exporters - Data Export
  • JSONL LLM Exporter - LLM Training Data Export
• Importers - Data Import
  • PostgreSQL Importer - PostgreSQL Migration

Plugin Development

• Plugins - Plugin System
• Plugin Security - Security & Sandboxing
• Plugin Migration - Migration Guide

---

🔧 Administration & Operations

Admin Tools

• Admin Tools - 7 WPF Administration Tools
• User Guide - Benutzerhandbuch
• Admin Guide - Administrator-Handbuch
• Feature Matrix - Tool-Übersicht

Operations Guides

• Operations Runbook - Tägliche Operationen
• TLS Setup - TLS/mTLS Konfiguration
• Vault Integration - HashiCorp Vault Setup
• RBAC Setup - Access Control Configuration
• Code Quality - Code Quality Tools

Performance & Monitoring

• Performance Tuning - Performance-Optimierung
• Benchmarks - Performance-Benchmarks
• Memory Tuning - Speicher-Optimierung
• Observability - Monitoring & Metrics

---

📊 Reports & Status

Development Reports

• Development Summary - Aktueller Entwicklungsstand v1.0.1
• Audit Log - Entwicklungs-Audit-Log
• Implementation Status - Implementierungsstatus
• Priorities - Entwicklungs-Prioritäten

Status Reports

• Themis Sachstandsbericht - Haupt-Statusbericht v1.5
• Documentation Summary - Dokumentations-Übersicht
• Benchmark Audit - Test & Benchmark Status
• Security Audit - Security Audit Ergebnisse

Roadmap & Planning

• Roadmap Overview - Entwicklungs-Roadmap (2026 komplett!)
• Features Priorities - Q1 2026 Prioritäten
• Database Capabilities - Capabilities Roadmap

---

📦 Integration & Ingestion

Data Ingestion

• Ingestion - Data Ingestion Patterns
• VCC CLARA - CLARA Adapter
• VCC VERITAS - VERITAS Adapter
• VCC Base - Base Adapter Framework

Enterprise Integration

• Enterprise Features - Rate Limiting, Load Shedding
• Integration Analysis - Legacy-Code Integration

---

🔍 Source Code Dokumentation

Module Documentation (src/)

Alle 26 Module mit detaillierter Dokumentation in src/:

• Acceleration - GPU/CPU Backends (173K LOC)
• Analytics - OLAP, CEP (57K LOC)
• API - GraphQL, Geo Hooks
• Auth - JWT Validation
• Cache - Semantic Cache
• CDC - Change Data Capture
• Content - 15 File Processors (256K LOC)
• Exporters - Data Export
• Geo - Spatial Operations
• Governance - Policy Engine
• Importers - Data Import
• Index - Vector, Graph, Secondary (400K LOC)
• LLM - LLM Integration
• Network - Wire Protocol
• Observability - Metrics, Tracing
• Plugins - Plugin System
• Query - AQL Engine (240K LOC)
• Replication - Leader-Follower, Multi-Master (12K LOC)
• Security - Encryption, RBAC (187K LOC)
• Server - HTTP, API Handlers (164K LOC)
• Sharding - VCC-URN, Gossip (300K LOC)
• Storage - RocksDB, MVCC (76K LOC)
• Timeseries - Gorilla Compression (39K LOC)
• Transaction - MVCC, SAGA (42K LOC)
• Updates - Schema Migration
• Utils - Utilities (120K LOC)

---

🎓 Weitere Ressourcen

External Links

• GitHub Wiki - Community Wiki
• GitHub Pages - Online Dokumentation
• PDF Documentation - Vollständige Doku als PDF

Benchmarking & Performance

• Benchmarks Suite - Benchmark-Framework
• Docker Benchmarks - Competitive Benchmarks
• Hardware Constraints - Resource-Constraints Testing

Release Documentation

• v1.0.1 Release Notes - Latest Release
• v1.0.0 Release Notes - Production Release
• Release Package Structure - Package Organization

---

📝 Dokumentations-Standards

Format & Struktur

• Format: Markdown (.md)
• Encoding: UTF-8
• Line Endings: LF (Unix-style)
• Code Blocks: Sprache immer angeben
• Links: Relative Pfade verwenden

Contributing

1. Struktur folgen - Docs im passenden Unterverzeichnis platzieren
2. Proper verlinken - Relative Links zu anderen Dokumenten
3. README updaten - Relevante README.md-Dateien aktualisieren
4. Markdown-Style - Style Guide befolgen
5. Aktuell halten - Docs bei Feature-Änderungen updaten

Build-Prozess

# Dependencies installieren
pip install -r requirements-docs.txt

# Dokumentation bauen
.\build-docs.ps1

# Lokal testen
mkdocs serve

Dokumentation wird automatisch zu GitHub Pages deployt bei Merge zu main.

---

📞 Support & Community

• Issues: GitHub Issues
• Wiki: GitHub Wiki
• Security: Security Policy

---

📊 Dokumentations-Statistiken

Metrik	Wert
Dokumentationsdateien	456+
Dokumentationsordner	71
Source-Code LOC	90.829
Source Files	191 (.cpp)
Header Files	132 (.h)
Module	26 Verzeichnisse
Logische Komponenten	16

---

Version: 1.3.0
Last Updated: 20. Dezember 2025
License: See LICENSE