LLM Governance API Proxy

Proxy local de gobernanza que centraliza el acceso de una organización a proveedores LLM compatibles con OpenAI. Antes de enviar una conversación, inspecciona todo el historial para detectar información sensible y aplica automáticamente políticas de permitir, enmascarar o bloquear.

El sistema incluye autenticación por roles, gestión de usuarios, chat web y trazabilidad para auditoría. Está diseñado con privacidad por defecto: registra únicamente metadatos operativos, nunca los prompts ni las respuestas del modelo.

Stack

Python 3.12 · FastAPI · PostgreSQL 16 · SQLAlchemy 2.0 · Pydantic v2 · Alembic · Argon2id · JWT · zxcvbn · SlowAPI · APScheduler · Gradio · Jinja2 / HTMX · Docker Compose · pytest

Arquitectura por capas: Router → Service → Repository.

Documentación técnica y decisiones arquitectónicas disponibles en GitHub dentro de /docs.

Decisiones Destacadas

Inspección en el backend. Todo el historial de mensajes del usuario se vuelve a analizar en cada solicitud, evitando depender del navegador para aplicar controles de privacidad.

Detección explicable. Utiliza expresiones regulares y reglas deterministas para detectar DNI, NIE, CIF, email, teléfono, código postal, IBAN y tarjetas.

Menos falsos positivos. Los IBAN se validan mediante MOD 97, las tarjetas mediante el algoritmo de Luhn y determinados números se descartan según su contexto.

Prioridad block > mask > allow. Los datos personales se sustituyen por marcadores seguros, mientras que la información financiera bloquea completamente la petición y nunca llega al proveedor.

Auditoría sin almacenar conversaciones. Solo se registran usuario, fecha, proveedor, modelo, decisión, categorías detectadas y otros metadatos operativos.

Retención automática de 90 días. Un proceso programado elimina los registros de auditoría que superan el periodo definido.

Sesiones revocables. Access tokens JWT combinados con refresh tokens aleatorios, rotatorios y almacenados únicamente como hashes SHA-256.

Credenciales protegidas con Argon2id. Las contraseñas administrativas se evalúan también con zxcvbn, y SECRET_KEY se valida durante el arranque.

Despliegue reproducible. Docker Compose levanta la API y PostgreSQL, aplicando automáticamente las migraciones de Alembic.

Tests

Suite de 204 funciones de test, equivalentes a 213 casos efectivos, con pytest y una base PostgreSQL de pruebas aislada.

Cubre detección de datos sensibles, políticas de enmascarado y bloqueo, autenticación, rotación de tokens, roles, gestión de usuarios, auditoría, retención, integración HTTP, interfaz web y errores del proveedor LLM.

La integración continua con GitHub Actions ejecuta Ruff, Pyright y pytest sobre PostgreSQL 16.