Petite histoire de la confiance aveugle
Les systèmes d’IA ont produit des résultats impressionnants ces dernières années. Ils classent, prédisent et recommandent. Ils le font souvent avec une précision qui dépasse les experts humains.
Mais ils le font sans explication.
« Le modèle dit X » devient la réponse. Pourquoi il dit X, sur quelle base, avec quel niveau de certitude et sous quelles hypothèses, reste caché dans la boîte noire.
Pour de nombreux usages, c’est acceptable. Pour des décisions critiques, cela ne suffit pas.
Pourquoi l’explicabilité n’est pas optionnelle dans les domaines critiques
Lorsqu’un système d’analyse signale à une autorité de sécurité : « Situation : niveau de risque élevé, mesure recommandée. » Sur quelle base ? Inconnue. Le modèle l’a calculé.
Dans les contextes critiques, les décideurs se retrouvent face à un mauvais choix : faire aveuglément confiance au système ou ignorer la recommandation. Les deux options sont insatisfaisantes. Les deux sont dangereuses.
C’est le problème central des systèmes construits sur une architecture « trust us ».
Ce que signifie Verifiable AI
Verifiable AI n’est pas une nouvelle catégorie de produit. C’est un principe de conception.
Un système est vérifiable lorsque chacune de ses affirmations peut être reliée aux données d’entrée et aux règles qui l’ont produite : entièrement, de manière lisible par machine et auditable.
L’IA vérifiable repose sur une autre architecture : représentation symbolique, logique formelle et graphes de connaissances.
Les trois dimensions de la vérifiabilité
Dimension 1 : transparence des données. Quels points de données ont contribué à une affirmation ? Un système vérifiable répond à cette question pour chaque sortie, non pas sous forme d’agrégat statistique, mais comme sources concrètes et nommées.
Dimension 2 : logique des règles. Quelles règles ont été appliquées ? Dans une architecture ontologique, les règles d’inférence sont modélisées explicitement. Les experts métier peuvent les lire, les questionner et les adapter.
Dimension 3 : auditabilité. Une partie externe, délégué à la protection des données, autorité de contrôle ou auditeur indépendant, peut-elle comprendre la logique décisionnelle du système ? Dans un système vérifiable, la réponse est oui.
Deux philosophies. Une différence décisive.
Certaines plateformes d’analyse, notamment celles issues d’environnements anglo-américains de défense et de renseignement, suivent une philosophie d’usage précise : le système fournit des résultats. La manière d’y parvenir reste interne. L’utilisateur fait confiance au fournisseur.
C’est une décision de conception consciente. Dans certains contextes, elle peut se comprendre.
Pour les autorités de sécurité européennes, les institutions publiques et les infrastructures régulées, elle ne suffit souvent pas. Ici, le droit de la protection des données, les obligations de preuve et le contrôle parlementaire comptent. Les systèmes ne doivent pas seulement fonctionner. Ils doivent montrer pourquoi ils arrivent à un résultat.
MAKOR a été construit à partir de cette exigence : chaque affirmation est traçable. Chaque règle est explicite. Chaque source de données est nommée. Le système s’explique lui-même.
Certains appellent cela Verifiable AI. Nous y voyons le seul fondement raisonnable pour des décisions qui ont des conséquences.
Ce que cela change en pratique
Sécurité décisionnelle. Les décideurs peuvent évaluer le fondement d’une recommandation et donc décider s’ils veulent la suivre.
Diagnostic d’erreur. Si le système se trompe, la raison peut être analysée. Les boîtes noires ne le permettent pas.
Sécurité juridique. « Le système d’IA l’a recommandé » n’est pas une justification. « Sur la base des données A, B, C et de la règle X, la conclusion Y s’ensuit » en est une.
Confiance par le contrôle. La vraie confiance ne naît pas d’une croyance aveugle, mais de la possibilité de vérifier un système et de constater qu’il résiste à cette vérification.
Perspective : ce que l’IA vérifiable signifie pour l’avenir
Avec l’EU AI Act, l’Europe introduit un cadre juridique qui formule explicitement des exigences de transparence, d’explicabilité et de supervision humaine pour les applications à haut risque.
MAKOR est compatible avec ces exigences parce que son principe architectural y répond directement.
Verify us. Ce n’est pas une promesse. C’est une invitation.