"And now for something completely different" Monty Python's flying circus
Pendant un récent audit une question m'a été posée que j'ai trouvé fort intéressante: quel futur pour l'audit et la GRC dans un monde où les LLMs sont de plus en plus puissants?
Hélas, le temps limité alors à ma disposition ne m'a pas permis d'y répondre de manière satisfaisante. Je profite donc de cet espace pour donner ma vision sur le sujet, sa déclinaison opérationnelle suivra dans les prochaines semaines.
Un audit n'est pas une action monolithique. Dans le domaine de la gouvernance et le cadre de normes aussi larges que la famille ISO27000 j'identifie les éléments suivants:
- Collecte de preuves: documentation, captures d'écran, configurations => les LLM permettent la production rapide d'une grande quantité de "preuves" (peuvent etre dolosives) impossible a vérifier de manière exhaustive par un humain dans le temps imparti => 1 - 0 en faveur d'acteurs malveillants
- Confrontation du corpus de preuves contre le référentiel => les LLMs permettent d'analyser de manière basique une grande quantité de preuves soumises, les modèles open source offrent cette capacité localement et d'une manière compatible avec la confidentialité des données de l'audit => 1 partout
- Confrontation du corpus de preuves contre la réalité du terrain => demande des capacités d'identification technique, de jugement et d'analyse stratégique et humaine ainsi que la perception de signaux faibles en interview => +1 point pour les humains
Cette organisation requiert des auditeurs des savoir-faire et des savoir-etre qui vont bien au delà d'une capacité à réciter la norme:
- comprendre le contexte stratégique d'une organisation
- lire les dynamiques humaines: une personne peut etre propriétaire d'un controle sur le papier mais en réalité déférer à une autre l'opérationnalisation de celui-ci
- identifier les incohérences: le SMSI est il aligné sur les enjeux stratégiques? les preuves fournies sont elles cohérentes avec la réalité du terrain?
Le score final se joue sur la troisième ligne, et c'est là que se déplace la valeur de l'audit, la suite sous peu avec un exemple concret.