Gouverner l'intelligence artificielle, ou apprendre enfin à gouverner ?

Gouverner l'intelligence artificielle, ou apprendre enfin à gouverner ?

Huit leçons de Sara Moroni, trois bandes, quelques questions délicates et un soupçon : peut-être que l'IA ne change pas seulement le travail, mais aussi la signification de le diriger.

Je viens de terminer de suivre les huit chapitres de la masterclass AI Governance Gap de Sara Moroni, une quarantaine de minutes consacrées à une question sur laquelle, paradoxalement, on discute encore trop peu, compte tenu de l'enthousiasme avec lequel nous intégrons l'intelligence artificielle dans chaque processus d'entreprise, chaque application et possiblement même dans certaines activités qui fonctionnaient très bien sans. Je m'attendais à un parcours sur la gouvernance, et je l'ai trouvé, mais surtout je me suis retrouvé à réfléchir à quelque chose que je connais plutôt bien, ayant passé une partie significative de ma vie professionnelle à diriger des équipes, coordonner des projets, construire des logiciels et, ces derniers temps, à faire plus ou moins les mêmes choses avec des collaborateurs qui ne prennent pas de congés, ne demandent pas d'augmentations et inventent parfois des solutions que personne ne leur a demandées.

La question de départ de Sara est essentiellement celle-ci : que savons-nous vraiment de l'intelligence artificielle utilisée dans nos entreprises ? Pas combien nous l'utilisons, pas combien de licences nous avons achetées, pas combien d'employés ont découvert que ChatGPT peut leur faire gagner deux heures de travail, mais combien nous sommes réellement capables de comprendre ses usages, d'en mesurer les résultats, d'en reconnaître les risques et d'intervenir lorsque quelque chose ne fonctionne pas. C'est une distinction moins banale qu'il n'y paraît, car dans l'histoire de l'informatique d'entreprise, nous avons souvent confondu la présence d'une technologie avec la capacité de l'utiliser, et la capacité de l'utiliser avec celle de la gouverner. Maintenant que les outils arrivent avant même que quelqu'un ait décidé de les adopter, le problème est devenu particulièrement évident.

La masterclass est disponible gratuitement sur masterclassaigov.it et je pense qu'elle mérite d'être suivie, surtout par ceux qui ont des responsabilités décisionnelles dans une organisation. Non pas parce qu'elle livre une formule magique, ce que Sara ne prétend heureusement pas faire, mais parce qu'elle pose une série de questions auxquelles il serait opportun de savoir répondre sans avoir à convoquer d'urgence une réunion.

Trois bandes pour un problème qui court

Le cœur du raisonnement est représenté par les trois bandes ACG : Adoption, Conformité et Gouvernance. L'adoption décrit dans quelle mesure l'IA est intégrée dans l'organisation, la conformité concerne le respect des obligations applicables et la gouvernance relie responsabilités, processus, résultats et capacité d'adaptation. Sara insiste sur une distinction importante : la gouvernance n'est pas simplement le troisième bureau à ajouter aux deux autres, mais le système qui permet à l'organisation de ne pas perdre le fil pendant que tout le reste continue à bouger.

Il me semble que c'est une représentation efficace, surtout pour ces entreprises qui confondent la souscription à un service et la rédaction d'une politique avec une stratégie de transformation numérique. Le cas de la société SaaS proposé dans la quatrième leçon rend le concept particulièrement compréhensible : une organisation technologiquement compétente, dans laquelle l'intelligence artificielle produit des résultats authentiques, peut découvrir qu'elle ne possède pas une vision partagée de ses usages. La compétence des individus ne se transforme pas automatiquement en une capacité collective. C'est un problème que quiconque a dirigé des groupes de développeurs devrait reconnaître immédiatement, car on peut avoir une équipe composée de personnes excellentes et un projet qui avance sans une direction suffisamment claire.

L'autre cas, celui de l'entreprise MedTech, met en lumière le problème opposé. Une entreprise peut être extrêmement rigoureuse dans la gouvernance de l'intelligence artificielle intégrée dans ses produits et beaucoup moins attentive aux outils utilisés quotidiennement dans les bureaux. La culture du contrôle existe, mais elle est restée confinée dans un périmètre. C'est une observation intéressante car elle démontre à quel point il est dangereux de parler de maturité d'entreprise comme s'il s'agissait d'une propriété uniforme, une note à attribuer à l'ensemble de l'organisation, alors qu'en réalité la même entreprise peut être extraordinairement disciplinée dans un département et étonnamment improvisée dans celui d'à côté.

Jusqu'ici, je suis fondamentalement d'accord. Là où je commence à m'interroger, c'est sur la vitesse des trois bandes, car la représentation fonctionne très bien pour montrer qu'elles doivent avancer ensemble, mais la question qui me semble aujourd'hui la plus urgente est de comprendre ce qui se passe lorsque l'une d'elles accélère au point de rendre presque impossible aux autres de la suivre.

J'ai déjà vu ce problème, seulement qu'avant il avait un bureau

Au cours des derniers mois, j'utilise des agents IA pour développer simultanément des fonctionnalités et des produits différents. Je ne me limite pas à demander du code et à le coller quelque part en espérant qu'il fonctionne : je fixe des objectifs, définis des contraintes, vérifie des résultats, interviens sur les décisions architecturales, fais corriger des erreurs et parfois je découvre qu'un des agents a trouvé une solution meilleure que la mienne. Je me suis rendu compte que cette activité ressemble de moins en moins à la programmation traditionnelle et de plus en plus à ce que je faisais lorsque je dirigeais des groupes de développeurs. La différence fondamentale est qu'une séquence de travail qui auparavant nécessitait des jours peut aujourd'hui se réaliser en le temps nécessaire pour préparer un café, et si entre-temps je suis en train de suivre un autre projet, je pourrais me retrouver avec plusieurs décisions techniques déjà transformées en résultats concrets.

Cela ne signifie pas que les agents soient des employés, ni qu'ils possèdent une autonomie au sens humain du terme. Cela signifie cependant que le problème organisationnel de la délégation s'est séparé de la vitesse humaine avec laquelle nous étions habitués à le gérer. Et ici naît une question que j'aimerais ajouter au parcours de Sara : construisons-nous une gouvernance capable d'accompagner cette accélération ou essayons-nous d'imposer à des systèmes radicalement nouveaux les mêmes temps décisionnels que les organisations traditionnelles ?

Sara, d'ailleurs, ne propose pas du tout un système immobile. Dans le cinquième chapitre, elle présente un cadre en huit étapes, de la planification à la mise à jour, en passant par les ressources, les KPI, l'implémentation, la formation, le lancement et le suivi. Elle parle de contrôles continus, de révisions périodiques et même de la nécessité de reconnaître des bénéfices inattendus. C'est un point important, car il n'aurait pas de sens de lui reprocher une conception statique qu'elle-même cherche explicitement à dépasser.

Je ferais un pas supplémentaire, en distinguant deux vitesses de gouvernance. La première est celle organisationnelle, dans laquelle sont établis des objectifs, des responsabilités, des budgets, des limites et des critères d'acceptation du risque. La seconde est celle opérationnelle, dans laquelle un système doit respecter ces limites tout en travaillant, sans attendre une nouvelle autorisation pour chaque action. Un agent qui peut lire un dépôt, proposer des modifications et exécuter des tests dans un environnement isolé n'a pas besoin du même niveau de supervision préventive qu'un agent autorisé à publier du code en production, à envoyer des données à des tiers ou à prendre des décisions qui affectent les personnes. La distinction ne devrait pas simplement dépendre du fait qu'ils s'appellent tous les deux agents IA, mais du pouvoir concret que nous leur avons confié.

En d'autres termes, nous ne devons pas nécessairement contrôler chaque mouvement. Nous devons savoir quel espace de mouvement nous avons autorisé, quelles conséquences nous pouvons soutenir et qui peut intervenir lorsque ce périmètre est dépassé. D'ailleurs, en y réfléchissant bien, c'est une définition assez raisonnable de la gestion, même lorsque les collaborateurs sont des êtres humains.

La responsabilité n'est pas une signature sur un formulaire

Un des points que je considère les plus importants de la masterclass concerne l'attribution des responsabilités. Sara observe à juste titre que nous ne pouvons pas attendre qu'une erreur se produise pour nous demander qui en est responsable. Je suis d'accord, mais je pense qu'avec des agents autonomes, la question mérite un approfondissement supplémentaire, car dans les organisations, il est relativement facile d'attribuer une responsabilité formelle et beaucoup plus difficile de donner à celui qui l'assume le pouvoir effectif de l'exercer.

Imaginons un responsable à qui l'on confie la supervision d'un système d'IA qui interagit avec différents outils, modifie des informations, consulte des archives et produit des décisions opérationnelles. Nous pouvons écrire son nom dans un document, l'inscrire dans un organigramme et déclarer que c'est lui qui est responsable du fonctionnement du système. Mais peut-il l'interrompre ? Sait-il quels outils il a utilisés ? Peut-il reconstruire la séquence qui a produit un résultat inattendu ? Connaît-il les limites des autorisations accordées ? S'il découvre un problème, peut-il révoquer ces accès sans attendre l'intervention de cinq autres personnes ?

Si la réponse est négative, nous avons peut-être identifié le destinataire des conséquences, mais nous n'avons pas nécessairement construit une responsabilité exercée. Et c'est l'un des points où, selon moi, une gouvernance moderne devrait être particulièrement concrète : moins d'accent sur la signature, plus d'attention à la capacité d'observer, de comprendre et d'intervenir.

Naturellement, toutes les opérations ne sont pas réversibles. Une information confidentielle envoyée à l'extérieur ne redevient pas secrète parce que nous avons appuyé sur un bouton, tout comme une décision ayant eu un impact sur les droits de quelqu'un ne devient pas inoffensive simplement parce que le système conserve un registre des activités. La délégation nécessite donc des limites proportionnées à la nature des conséquences, et non une confiance aveugle dans la possibilité de remédier ultérieurement.

La gouvernance a aussi un coût. Et elle devrait rendre compte de son travail

Un autre aspect que j'ai apprécié dans le parcours de Sara est l'attention portée au coût global de l'adoption. Non seulement les licences et les infrastructures, mais aussi la formation, l'apprentissage, la maintenance des compétences, le temps nécessaire pour comprendre et utiliser les outils. C'est une perspective que je partage, et c'est précisément pour cela que je me poserais à la gouvernance la même question que nous posons à l'intelligence artificielle : combien ça coûte, que produit-elle et comment savons-nous si cela fonctionne ?

Parce qu'une règle consomme aussi des ressources. Elle nécessite quelqu'un pour la définir, quelqu'un pour l'interpréter, quelqu'un pour vérifier son respect, quelqu'un pour mettre à jour la documentation et, fréquemment, quelqu'un d'autre pour attendre le résultat de toutes ces activités avant de pouvoir commencer à travailler. Une règle peut être indispensable et coûteuse en même temps, bien sûr, mais c'est précisément pour cela qu'il devrait exister un moyen d'évaluer son efficacité, plutôt que de considérer sa simple présence comme une démonstration de bonne gestion.

Dans le cadre, Sara rejette à juste titre l'idée de KPI universels, car des entreprises différentes poursuivent des objectifs différents. Je partage cette prudence, mais je l'accompagnerais de quelques exemples très concrets de mesure. Non seulement combien utilisent l'IA, mais combien de valeur nette est produite après avoir pris en compte les vérifications, les erreurs et les reprises. Non seulement combien de procédures ont été définies, mais combien de situations problématiques nous sommes effectivement capables de reconnaître et de contenir. Et non seulement combien de risques nous avons évités, mais aussi combien de temps nous mettons à autoriser une expérience, combien coûtent nos contrôles et combien d'initiatives sont abandonnées parce que le parcours prévu est disproportionné par rapport à leur portée.

Ce dernier point nécessite de la prudence : chaque expérience empêchée ne représente pas une opportunité perdue. Parfois, cela signifie simplement avoir évité une mauvaise idée. Mais le coût de la gouvernance devrait devenir aussi visible que celui de la technologie gouvernée, sinon nous risquons de construire des organisations capables de documenter parfaitement tout ce qu'elles ne parviennent plus à faire.

Et c'est ici que se pose l'une des questions les plus délicates : l'IA de l'ombre. Sara a le mérite de rappeler que ceux qui introduisent un outil sans autorisation ne le font pas nécessairement par irresponsabilité, mais souvent parce qu'ils essaient de mieux travailler. C'est une distinction fondamentale. Si une organisation rend impraticable le parcours officiel, elle ne devrait pas être surprise lorsque quelqu'un en cherche un alternatif. La réponse ne peut pas être seulement d'ajouter des interdictions, mais de comprendre pourquoi ce besoin ne parvient pas à trouver une solution gouvernée. Une bonne gouvernance devrait réduire la nécessité de se cacher, et ne pas se limiter à améliorer la capacité de découvrir qui se cache.

Du cadre au lundi matin

Si je devais suggérer une évolution de la masterclass, je n'ajouterais pas d'autres grandes catégories théoriques. Le parcours est déjà suffisamment clair et les huit étapes constituent une structure compréhensible. J'aimerais plutôt voir l'un des deux cas d'entreprise accompagné au-delà du diagnostic, jusqu'aux décisions opérationnelles et aux résultats. Dans le cas MedTech, par exemple, il serait intéressant de suivre ce qui se passe dans les semaines suivant la découverte du problème : quels outils sont recensés en premier, quels accès sont limités, quelles utilisations peuvent continuer, qui prend les décisions, quelles métriques sont introduites et quels résultats émergent après un mois.

Il ne faudrait pas un autre traité, mais un exemple complet, de préférence avec quelques chiffres et quelques décisions difficiles. Parce que le passage de la prise de conscience à l'action est exactement le point où de nombreux bons modèles organisationnels rencontrent la résistance de la réalité. La réalité, notoire, n'a pas lu le cadre, ne participe pas aux réunions d'alignement et a tendance à présenter des problèmes peu respectueux des cases que nous avons préparées pour les classer.

J'ajouterais également une forme d'autodiagnostic, quelques questions auxquelles un entrepreneur pourrait répondre sans recourir à un consultant : quels systèmes d'IA influencent les décisions de mon organisation ? Quelles données peuvent-elles atteindre ? Qui peut modifier leurs autorisations ? Que se passerait-il si demain l'un de ces systèmes produisait une erreur significative ? Et surtout, dans quel délai nous en apercevrions-nous ?

Ce sont des questions qui auraient aussi le mérite de distinguer la gouvernance racontée de la gouvernance pratiquée.

Peut-être devons-nous apprendre à gouverner différemment

À la fin des huit vidéos, ce qui m'a le plus marqué n'est pas tant la nécessité d'introduire une gouvernance de l'intelligence artificielle, sur laquelle il serait difficile de ne pas être d'accord, mais la possibilité que cette technologie nous oblige enfin à discuter de la manière dont nous gouvernons les organisations en général.

Depuis des décennies, nous avons construit des structures dans lesquelles la capacité de contrôle était souvent confondue avec le nombre de passages autorisés, la responsabilité avec la position dans l'organigramme et la coordination avec la nécessité de savoir en permanence ce que faisaient tous. Ceux qui ont dirigé des personnes connaissent la fatigue de ces mécanismes et connaissent aussi leur paradoxe : quand ils fonctionnent trop, ils ralentissent le travail ; quand ils fonctionnent trop peu, ils cessent de fournir une direction. Le véritable métier du management consiste à trouver un équilibre qui ne reste pas valable uniquement sur le papier.

Avec les agents IA, cet équilibre devient encore plus important, mais aussi plus intéressant. Nous pouvons concevoir des systèmes dans lesquels de nombreux contrôles sont intégrés dans les autorisations, les architectures, les seuils opérationnels et la possibilité d'interrompre un processus, laissant aux personnes la tâche de fixer des objectifs, d'évaluer les conséquences et de prendre les décisions qui comptent vraiment. Ce n'est pas l'abolition de la responsabilité humaine, mais un placement plus précis de celle-ci. Cela ne signifie pas renoncer au contrôle, cela signifie cesser de l'identifier nécessairement à une autorisation continue.

Et peut-être devrions-nous appliquer la même logique aux règles de gouvernance : vérifier périodiquement non seulement qu'elles sont respectées, mais aussi qu'elles ont encore un sens, qu'elles produisent les effets escomptés et que leur coût reste proportionné aux risques qu'elles visent à contenir. De cette manière, la gouvernance de l'organisation deviendrait elle-même un processus capable d'apprendre, au lieu d'une structure qui prétend enseigner aux autres sans jamais se soumettre à un examen.

C'est cela, selon moi, la réflexion la plus intéressante que la masterclass de Sara Moroni permet d'engager. Ses trois bandes aident à reconnaître un problème réel et le cadre offre un chemin pour y faire face. La prochaine étape, sur laquelle j'aimerais continuer à réfléchir, concerne la capacité de distribuer l'autonomie sans perdre la responsabilité, de rendre le contrôle efficace sans le rendre omniprésent, de construire des organisations capables de changer sans avoir à chaque fois demander la permission à elles-mêmes.

Parce que si l'intelligence artificielle peut changer la façon dont nous travaillons, il serait plutôt curieux de l'utiliser pour rendre encore plus efficaces les mêmes mécanismes organisationnels qui ont empêché les gens de bien travailler pendant des années.

Et peut-être qu'une gouvernance réussie ne devrait pas seulement se mesurer au nombre d'erreurs qu'elle parvient à empêcher, mais aussi au nombre de bonnes choses qu'elle permet enfin de faire.


La masterclass

Ceux qui souhaitent approfondir peuvent suivre gratuitement les huit chapitres de AI Governance Gap, la masterclass de Sara Moroni dédiée à la relation entre l'adoption de l'intelligence artificielle, la conformité réglementaire et la gouvernance des organisations.

AI Governance Gap : accédez à la masterclass

Environ 45 minutes, deux cas d'entreprise et un modèle en huit étapes. Un bon point de départ pour ceux qui veulent se poser de meilleures questions avant d'acheter la énième licence IA.

Votre projet est bloqué par une limite technique ?

Réserver 15 minutes