Una breve historia de la confianza ciega
Los sistemas de IA han ofrecido resultados impresionantes en los últimos años. Clasifican, pronostican y recomiendan. A menudo lo hacen con una precisión que supera a los expertos humanos.
Pero lo hacen sin explicación.
«El modelo dice X» se convierte en la respuesta. Por qué dice X, sobre qué base, con qué certeza y bajo qué supuestos, queda oculto en la caja negra.
Para muchos casos de uso, eso es aceptable. Para decisiones críticas, no basta.
Por qué la explicabilidad no es opcional en dominios críticos
Cuando un sistema de análisis comunica a una autoridad de seguridad: «Situación: clasificación de riesgo elevada, medida recomendada». ¿Sobre qué base? Desconocida. El modelo lo calculó.
En contextos críticos, quienes toman decisiones se enfrentan a una mala elección: confiar ciegamente en el sistema o ignorar la recomendación. Ambas opciones son insatisfactorias. Ambas son peligrosas.
Ese es el problema central de los sistemas construidos sobre una arquitectura de «trust us».
Qué significa Verifiable AI
Verifiable AI no es una nueva categoría de producto. Es un principio de diseño.
Un sistema es verificablemente inteligente cuando cada una de sus afirmaciones puede rastrearse hasta los datos de entrada y las reglas que la produjeron: de forma completa, legible por máquina y auditable.
La IA verificable se basa en otra arquitectura: representación simbólica, lógica formal y grafos de conocimiento.
Las tres dimensiones de la verificabilidad
Dimensión 1: transparencia de datos. ¿Qué puntos de datos contribuyeron a una afirmación? Un sistema verificable responde a esta pregunta para cada salida, no como agregado estadístico, sino como fuentes concretas y nombradas.
Dimensión 2: lógica de reglas. ¿Qué reglas se aplicaron? En una arquitectura basada en ontologías, las reglas de inferencia están modeladas explícitamente. Los expertos pueden leerlas, cuestionarlas y adaptarlas.
Dimensión 3: auditabilidad. ¿Puede una parte externa, un delegado de protección de datos, una autoridad de control o un auditor independiente, comprender la lógica de decisión del sistema? En un sistema verificable, la respuesta es sí.
Dos filosofías. Una diferencia que importa.
Algunas plataformas de análisis, especialmente las surgidas de entornos angloamericanos de defensa e inteligencia, siguen una filosofía de uso concreta: el sistema entrega resultados. Cómo llega a ellos permanece internamente. Quien lo usa confía en el proveedor.
Es una decisión de diseño consciente. En ciertos contextos, puede ser comprensible.
Para autoridades de seguridad europeas, instituciones públicas e infraestructuras reguladas, a menudo no lo es. Aquí cuentan la protección de datos, las obligaciones de justificación y el control parlamentario. Los sistemas no solo deben funcionar. Deben poder mostrar por qué llegaron a un resultado.
MAKOR se construyó a partir de esta exigencia: cada afirmación es trazable. Cada regla es explícita. Cada fuente de datos está nombrada. El sistema se explica a sí mismo.
Algunos lo llaman Verifiable AI. Nosotros lo llamamos la única base sensata para decisiones que tienen consecuencias.
Qué cambia en la práctica
Seguridad de decisión. Quienes deciden pueden evaluar la base de una recomendación y decidir si quieren seguirla.
Diagnóstico de errores. Si el sistema se equivoca, puede analizarse por qué. Las cajas negras no pueden hacerlo.
Seguridad jurídica. «El sistema de IA lo recomendó» no es una justificación. «Sobre la base de los datos A, B, C y la regla X se obtiene la conclusión Y» sí lo es.
Confianza mediante control. La confianza real no surge de creer ciegamente en un sistema, sino de poder comprobarlo y ver que resiste esa comprobación.
Perspectiva: qué significa la IA verificable para el futuro
Con la EU AI Act, Europa introduce un marco legal que formula requisitos explícitos de transparencia, explicabilidad y supervisión humana para aplicaciones de alto riesgo.
MAKOR es compatible con esos requisitos porque su propio principio arquitectónico responde a ellos.
Verify us. No es una promesa. Es una invitación.