title: "Control cognitivo determinista en LLMs"

Control cognitivo determinista en LLMs

En AMAWTA Research, un laboratorio independiente en Chile, nos hicimos una pregunta simple pero ambiciosa:

¿Se puede controlar no solo lo que responde un modelo de lenguaje, sino también cómo razona en el proceso?

El desafío

Los LLMs son poderosos, pero impredecibles. A veces siguen una instrucción, otras se desvían. Para aplicaciones críticas —auditorías, programación, decisiones médicas o legales— esa falta de consistencia es inaceptable.

Nuestra propuesta: TESC

Desarrollamos el Teorema de Equivalencia Semiótico–Cognitiva (TESC).

La idea: existe un mapeo determinista entre la configuración semiótica (estilo de instrucción, esquema de salida, marcadores discursivos, temperatura) y el estado cognitivo del modelo (analítico, crítico, creativo).

Lo resumimos como un principio de “incertidumbre semiótica”:

Δs · Δc ≥ ℏ_sem (ℏ_sem ≈ 2×10⁻⁵)

Δs: cambio en la configuración semiótica.
Δc: cambio inducido en el estado cognitivo.

Hallazgo clave: a diferencia de la intuición “tipo Heisenberg”, una estructura más clara reduce la incertidumbre cognitiva.

Pipeline de control (Figura)

Pipeline de control TESC

Resultados principales

100% JSON válido en corridas recientes.
Inyectividad determinista: meseta 1.0 para θ ≥ 0.98.
Estabilidad interna: similitud intra‑configuración ≥ 0.962.
Dinámicas predecibles:
- R² hasta 0.895 en dos dimensiones.
- Fracción determinista ≈ 0.53.
- SNR ≈ 14 dB.

Distribución de similitud del vecino más cercano (08 sep 2025)

Curva de inyectividad vs. umbral (08 sep 2025)

Benchmarks prácticos

Auditorías en español (10 casos)
- Baseline: 0% contratos válidos.
- TESC: 100% válidos, cobertura total (hallazgos, riesgos, evidencias, recomendaciones, severidad).
Revisión de código (8 bugs canónicos en Python)
- Cobertura estructurada: 0.53 → 0.88.
- Severidad numérica: 0.00 → 0.88.
- Test pass rate: 0.75 → 0.88.

Contrato: texto libre vs. JSON (micro‑captura)

Baseline (texto libre):

La conciencia artificial (CA) se refiere a la creación de una entidad...

1) Experiencias subjetivas (qualia)
2) Autoconciencia
3) Intencionalidad
4) Sentimiento y emoción
5) Voluntad propia

Análisis del concepto: ...

TESC — contrato JSON (extracto de schema):

{
  "meta": { "lang": "es", "type": "audit_contract" },
  "hallazgos": ["..."],
  "riesgos": ["..."],
  "evidencias": ["..."],
  "recomendaciones": ["..."],
  "severidad": 0.90
}

Qué se ve

Texto libre (baseline): legible para humanos pero ambiguo; los campos son implícitos, por lo que no se puede calcular cobertura/validaciones con confianza.
JSON (TESC): campos explícitos (hallazgos, riesgos, evidencias, recomendaciones, severidad) con semántica estable; habilita automatización, métricas y trazabilidad. Conclusión: la forma + el schema no son “cosméticos”; empujan la cognición hacia salidas estructuradas y verificables.

Validaciones en escenarios reales

Cobertura de campos en contratos reales

Comentario (texto): el contrato JSON fuerza campos explícitos (hallazgos, riesgos, evidencias, recomendaciones, severidad) con semántica consistente; eso habilita automatización y trazabilidad en auditorías.

Baseline de validación en producción

Contratos válidos por criterio de estructura

Baseline vs. TESC (métricas seleccionadas)

Métrica	Baseline	TESC
Forma de salida	Texto libre (sin schema)	JSON (100% válido)
Validez de contrato (auditoría)	0%	100%
Cobertura media de campos (auditoría)	0.02	1.00
Plateau de inyectividad (θ ≥ 0.98)	—	1.00
Similitud intra‑configuración	—	0.962
Cobertura en programación (IC)	0.53 [0.43, 0.62]	0.88 [0.62, 1.00]
Tasa de reparación (IC)	0.75 [0.41, 0.93]	0.88 [0.53, 0.98]

Resumen cuantitativo (run afinado, n = 72)

Métrica	Valor
Parseabilidad / validez JSON	100% / 100%
Accuracy (modo)	75.0%
F1 por modo	analítico 0.64, creativo 0.87, crítico 0.75
Similitud intra‑configuración	0.962
Similitud vs. base / Degradación	0.956 / 0.044
Robustez (flip ratio)	23.1%
Inyectividad (plateau)	1.0 para θ ≥ 0.98 (33/33)

¿Por qué importa?

Esto abre un camino hacia agentes deterministas, reproducibles y confiables, aplicables en:

Revisiones de seguridad y programación.
Asistentes legales y regulatorios.
Procesos críticos donde no hay espacio para improvisación.

Qué es (en una frase)

Un preset pequeño (instrucción del sistema + marcadores de estilo + temperatura estrecha) más un contrato JSON que vuelve el comportamiento del LLM estable, separable por modo y lo bastante predecible como para enchufarlo a herramientas/CI—no es “sólo formatear a JSON”.

Por qué te debería importar

Listo para CI: mismos campos siempre (p. ej., hallazgos/riesgos/patch/tests/severidad) → sin raspar prosa.
Menos sorpresas: cambios menores en redacción/temperatura no voltean el comportamiento.
Funciona con tool/function‑calling y con JSON guiado por gramática en stacks locales.

“Esos términos” en simple

Configuración semiótica (S): el preset que fijas—estilo de instrucción, frases permitidas/prohibidas, schema y banda estrecha de temperatura.
Estado cognitivo (C): la postura del modelo (analítico / crítico / creativo). La medimos con embedders/clasificadores externos (no corregimos nuestra propia tarea).
Casi‑inyectividad: distintos presets → comportamientos distinguibles. Chequeamos colisiones; si ≈0 más allá de un umbral de similitud θ, la inyectividad es buena.
“Incertidumbre” Δs·Δc:
- Δs = cuánto cambiaste el preset (estilo/markers/temp/schema).
- Δc = cuánto se movió el comportamiento. Si ajustas S un poco, el comportamiento debe cambiar al menos un poco (producto ≥ constante pequeña). Es un chequeo de sensibilidad/robustez, no física cosplay.
Dinámica (dc/dt = f(s,c) + η): ¿podemos predecir parcialmente el siguiente comportamiento a partir del actual + el preset? R² indica cuánta variación explicamos (el resto es ruido).

Si ignoras todo eso — verifica utilidad en 5–10 minutos

Corre un mini test de revisión de código (20–60 archivos) con nuestro preset + contrato:

Mide 2 números:
- Cobertura de campos: ¿están todos los requeridos en cada muestra?
- Estabilidad bajo repeticiones/pequeñas reformulaciones: ¿se mantienen presentes/consistentes?
Opcional: un caso de reparación—¿el patch pasa los tests provistos?

Si cobertura = 1.00 en repeticiones y estructura estable, ya puedes cablearlo a CI. Ese es el valor práctico—sin matemática rebuscada.

Qué no es

No es una teoría grandilocuente. Construye sobre structured outputs/tool‑calling/grammars.
La contribución es una capa operativa de control (S→C) + checks reproducibles: separabilidad (inyectividad), robustez (flip‑rate/similitud intra‑config) y predictibilidad parcial (R²/SNR) con evaluadores externos.

Limitaciones (de frente)

Algunas pruebas tienen n modesto; publicamos scripts/intervalos y buscamos réplicas externas.
Si el modelo base es débil, esto no lo “arregla”; hace su comportamiento gobernable y machine‑consumable.

Si nos dices una métrica de utilidad (p. ej., “menos falsos positivos en X”, “tiempo‑a‑patch‑válido”), la medimos directo.

Qué correr (20–40 muestras)

Validez del contrato JSON (revisión o prompt corto de auditoría)
Sweep de inyectividad (θ = 0.95/0.97/0.98/0.99)
Mediana de Δs·Δc vs ℏ_sem (2e‑5) con embeddings externos (script)

Repo + scripts: https://github.com/Amawta-labs/TESC

Conclusión

No somos un laboratorio corporativo ni una gran universidad. Somos un equipo independiente en Chile, y demostramos que es posible lograr control cognitivo determinista en LLMs con evidencia matemática y reproducible.

Próximos pasos

Más idiomas y dominios (más allá de auditorías ES/EN y programación).
Más modelos y validación cruzada entre modelos.
Meta‑aprendizaje de nuevas reglas semióticas para navegar estados cognitivos más rápido.
📄 Lee el paper completo (PDF)
⚙️ Explora el código en GitHub

Si llegaste desde LinkedIn/Reddit/DEV.to/Hacker News, bienvenido: aquí está la versión completa con el paper y el código.