Précédemment j'écrivais sur le rôle de l'auditeur comme investigateur devant aller au delà du corpus écrit pour le confronter à la réalité du terrain.
Ce cadre posé, je distingue donc deux grandes catégories de compétences:
- recherches sémantiques et synthétisation => dans ces preuves, lesquelles sont importantes pour un controle spécifique
- jugement => la preuve répond-t-elle a l'exigence du référentiel? l'implémentation du controle est elle cohérente avec les objectifs business? la preuve fournie est elle supportée par les effets de bord qu'elle implique (test en live)?
La valeur ajoutée humaine est clairement dans la seconde catégorie, c'est celle qui demande de l'expérience, la capacité à créer un lien humain et à comprendre. La recherche sémantique et la synthétisation sont des savoir-faire qui ont leur place mais doivent etre utilisés de manière précise. La porte qu'ouvre l'usage de LLM est la possibilité d'une recherche initiale exhaustive et d'une cartographie des corpus documentaires permettant a l'auditeur de se concentrer sur les zones a forte valeur ajoutée.
Comment cela alimente l'audit? Cela offre un matériel supplémentaire dans la conduite des interviews, et permet de cibler celles-ci avec plus d'éléments factuels extraits du corpus que l'auditeur ne pourrait seul retenir quand celui-ci est trop grand pour etre totalement analysé.
Le risque du périmètre trop grand pour l'équipe d'audit (conçu ainsi à dessein ou accidentellement) peut etre ainsi réduit significativement sans que la responsabilité de l'auditeur ne soit engagée aveuglément. Le LLM n'est pas un auditeur junior, c'est un système d'habiletés sémantiques dont les inférences reposent sur une compréhension symbolique détachée de la réalité du terrain. Pour l'utiliser efficacement il faut le juger rationnellement autant pour ses forces que pour ses faiblesses structurelles. La déontologie nous oblige à une analyse sans complaisance des nouveaux outils, l'efficacité attendue par les clients est une raison suffisante à l'investissement que cela représente. Si les tournevis sont à la mode nous ne sommes pas pour autant obligés de nous écorcher les mains à planter des clous avec.